SIL: Symbiotic Interactive Learning for Language-Conditioned Human-Agent Co-Adaptation

Resumo Técnico: SIL (Aprendizado Interativo Simbiótico)

1. Problema Abordado

O artigo identifica uma limitação crítica nas atuais interações humano-robô (HRI) baseadas em linguagem natural: a predominância de um modelo unidirecional "mestre-aprendiz".

• Limitação Atual: Os agentes autônomos (robôs) atuam como executores passivos de comandos humanos. O conhecimento flui apenas do humano para o agente, sem que o agente possa questionar, sugerir ou adaptar suas crenças internas reciprocamente.
• Consequências: Essa abordagem falha em capturar a natureza dinâmica e recíproca da comunicação humana. Ela exige que o usuário assuma toda a carga inferencial para compensar a rigidez do agente, tornando as interações frágeis a ambiguidades linguísticas e incapazes de suportar a adaptação de longo prazo a preferências individuais.
• Objetivo: Superar a assimetria atual através de um framework de co-adaptação bidirecional, onde tanto o humano quanto o agente mantêm e alinham estados de crença conjuntos em um espaço latente compartilhado.

2. Metodologia (Framework SIL)

O SIL propõe um sistema onde o agente e o humano evoluem juntos em um espaço latente de tarefas compartilhado. A arquitetura é composta pelos seguintes componentes principais:

• Representação de Crença Compartilhada:

  • Ambos os participantes (Humano $H$ e Agente $A$) mantêm um estado de crença estruturado $B_t = (z_t, k_t, u_t, H_t, \Psi_t)$, onde $z_t$ é o embedding latente da tarefa, $k_t$ é a confiança, $u_t$ é a incerteza, $H_t$ é o histórico temporal e $\Psi_t$ são parâmetros específicos (ex: modelo de preferências do humano).
  • Mecanismo de Co-adaptação: O sistema utiliza um operador de transição de crença recursivo. As crenças são atualizadas mutuamente: o agente atualiza sua representação baseada nas entradas e no feedback, mas também raciocina sobre o estado latente estimado do humano, e vice-versa.
  • Influência Bidirecional: Vetores de influência ($\delta_{infl}$) são calculados usando transformações aprendidas sobre os embeddings latentes do outro participante. A atualização é ponderada pelo sucesso da execução ($s_t$); falhas ($s_t \approx 0$) sinalizam fortemente a necessidade de o humano reavaliar suas instruções, enquanto sucessos reduzem a necessidade de ajuste.

• Alinhamento de Crença e Protocolo de Esclarecimento:

  • Um score de alinhamento ($\rho_t$) é calculado com base na similaridade cosseno entre os embeddings do humano e do agente, ponderado pela confiança.
  • Se $\rho_t$ cair abaixo de um limiar, um protocolo de esclarecimento é acionado proativamente. O agente gera interpretações candidatas (amostrando um ensemble de LLMs e recuperando episódios passados) e as apresenta ao humano para resolução antes da execução, evitando falhas.

• Memória e Aprendizado Contínuo:

  • Arquitetura Dupla: Utiliza memória episódica (armazena registros brutos de interação) e memória semântica (consolida padrões gerais de sucesso/falha).
  • Prevenção de Esquecimento Catastrófico: Para permitir o ajuste contínuo do codificador neural sem apagar conhecimento antigo, o SIL emprega Consolidação de Pesos Elásticos (EWC). Isso penaliza mudanças em parâmetros críticos para tarefas anteriores, garantindo estabilidade a longo prazo.

• Compreensão de Linguagem Consciente de Incerteza:

  • Utiliza um ensemble de LLMs com diferentes temperaturas para gerar múltiplas interpretações de um comando.
  • Calcula a dispersão semântica e características linguísticas (como hesitação) para derivar uma métrica de incerteza global. Se a incerteza for alta, o sistema prioriza o diálogo de esclarecimento em vez da execução cega.

• Percepção Multimodal e Execução:

  • Integra modelos de visão-linguagem (SAM e CLIP) para segmentação e classificação de objetos, projetando coordenadas 2D para 3D.
  • Utiliza pilhas de navegação ROS (AMCL, planejadores de caminho) para execução física em ambientes reais e simulados.

3. Principais Contribuições

1. Caracterização do Problema de Aprendizado Unidirecional: Análise formal das limitações do modelo mestre-aprendiz e proposta do SIL como um framework simbiótico bidirecional.
2. Representação e Alinhamento de Crença Compartilhada: Introdução de um mecanismo explícito para representar, medir e alinhar crenças humanas e de agentes em um espaço latente, permitindo esclarecimentos direcionados e sugestões proativas.
3. Aprendizado Contínuo com Memória Estruturada: Integração de memória episódica e semântica com regularização EWC para preservar conhecimento ao longo de interações de longo prazo.
4. Avaliação Empírica Abrangente: Testes extensivos em ambientes simulados e do mundo real, demonstrando superioridade sobre baselines estáticos.

4. Resultados Experimentais

O SIL foi avaliado em cinco domínios de tarefas: Seguimento de Instruções Embodied (EIF), Recuperação de Informação Interativa baseada em Memória (MIIR), Raciocínio Orientado a Consultas (QOR), Diálogo Proativo (PDS) e Aprendizado de Preferências de Longo Prazo (LPL).

• Taxa de Conclusão de Tarefas (TCR): O SIL alcançou uma taxa média de 90,4%, uma melhoria absoluta de aproximadamente 20 pontos percentuais em relação às melhores variantes ablatadas e ao baseline estático (LLM sem memória, que obteve apenas 60,1%).
• Alinhamento de Crença (Belief Alignment): O sistema atingiu um score de alinhamento ($\rho$) de ~0,83, indicando uma convergência estável e rápida entre as crenças do humano e do agente. As variantes ablatadas oscilaram entre 0,52 e 0,65.
• Eficiência de Esclarecimento: O SIL reduziu a necessidade de solicitações de esclarecimento para uma média de 0,46 por tarefa, demonstrando capacidade de inferência proativa.
• Impacto das Ablações:
  • A remoção do mecanismo de co-adaptação causou a maior queda de desempenho (TCR caiu para 61,7%), provando que a adaptação bidirecional é o componente mais crítico.
  • A remoção do EWC resultou em esquecimento catastrófico, especialmente em tarefas de memória (MIIR), onde aliases aprendidos foram perdidos após tarefas distratoras.

5. Significado e Impacto

O trabalho representa uma mudança de paradigma na HRI, movendo-se de uma interação passiva de comando-e-controle para uma colaboração ativa e simbiótica.

• Robustez: Ao lidar proativamente com ambiguidades e manter um histórico de preferências, o SIL torna os robôs mais robustos em ambientes dinâmicos e não estruturados.
• Escalabilidade Cognitiva: A abordagem demonstra que modelos de linguagem fundamentais (FMs) podem ser integrados a arquiteturas de memória e aprendizado contínuo para criar agentes que não apenas "obedecem", mas "compreendem" e "aprendem" com o usuário ao longo do tempo.
• Aplicabilidade: O sistema foi validado em robôs físicos (Unitree Go1 e Segway customizado), provando sua viabilidade para tarefas do mundo real que exigem raciocínio espacial, recuperação de memória e adaptação a estilos de comunicação individuais.

Em suma, o SIL estabelece um novo padrão para interações humano-agente, onde o aprendizado é mútuo, contínuo e fundamentado em uma compreensão compartilhada do contexto e das intenções.