Inner Speech as Behavior Guides: Steerable Imitation of Diverse Behaviors for Human-AI coordination

Título: Fala Interna como Guia de Comportamento: Imitação Dirigível de Comportamentos Diversos para Coordenação Humano-IA

1. Problema e Motivação

A coordenação eficaz entre humanos e IAs em ambientes complexos exige agentes artificiais capazes de exibir e responder a comportamentos humanos, adaptando-se a contextos variados. A Aprendizagem por Imitação (Imitation Learning - IL) é uma abordagem promissora, onde agentes aprendem a imitar demonstrações humanas. No entanto, os métodos atuais apresentam limitações críticas:

• Falta de Diversidade e Realismo: Os modelos tendem a capturar apenas a média das demonstrações, falhando em modelar a diversidade intrínseca e a natureza não-Markoviana (dependente de histórico) do comportamento humano.
• Falta de Controle Dirigível (Steerability): A maioria dos métodos não permite ajustar o comportamento do agente em tempo de inferência (runtime) sem retreinamento.
• Mapeamento Direto Estado-Ação: A maioria das abordagens de Behavior Cloning (BC) assume um mapeamento direto $s_t \to a_t$, ignorando o processo cognitivo humano onde a decisão é mediada por motivações internas e "fala interna" (inner speech).

O artigo propõe que a fala interna (conceito da psicologia cognitiva de Vygotsky) atua como um mecanismo mediador entre a percepção e a ação, permitindo diversidade comportamental e controle linguístico.

2. Metodologia: Framework MIMIC

Os autores introduzem o MIMIC (Modeling Inner Motivations for Imitation and Control), um framework que operacionaliza a teoria da fala interna como um guia de comportamento. O sistema é composto por três componentes principais:

A. Formulação Teórica

O MIMIC modela a política humana não como $\pi(a|s)$, mas como uma integração sobre uma variável latente de fala interna $m$:
$$p(a|s) = \int p(a|s, m)p(m|s) dm$$
Onde:

• $s$: Estado do ambiente.
• $m$: Representação latente da fala interna (em linguagem natural).
• $p(m|s)$: Gerador de fala interna (condicionado ao histórico de comportamento).
• $p(a|s, m)$: Clonador de comportamento (condicionado ao estado e à fala interna).

O framework incorpora três propriedades da fala interna de Vygotsky:

1. Predicatividade: Foca em relações e ações, não apenas em entidades.
2. Condensação Semântica: Comprime significados complexos em representações compactas.
3. Dinâmica Regulatória Temporal: A fala interna opera em escalas de tempo estendidas, baseada no histórico, não apenas no estado instantâneo.

B. Arquitetura do Sistema

1. Gerador de Fala Interna (Condicionado ao Comportamento):

   • Utiliza um Autoencoder Variacional Condicional (CVAE).
   • Scaffolding Linguístico: Para treinar o gerador sem anotações humanas de "pensamento", os autores utilizam um Modelo de Visão-Linguagem (VLM) pré-treinado (ex: GPT-4o). O VLM analisa GIFs das demonstrações humanas e gera descrições textuais que diferenciam os comportamentos.
   • O CVAE aprende a comprimir essas descrições externas em representações latentes internas ($m$) baseadas no histórico de estados e ações, simulando a internalização da linguagem.

2. Clonador de Comportamento (Condicionado à Fala Interna):

   • Utiliza uma política baseada em Difusão (DDPM-T) com arquitetura Transformer.
   • O modelo recebe o estado atual $s$ e a fala interna $m$ (gerada pelo CVAE) como condições para prever a ação $a$.
   • Durante a simulação, o agente gera sua própria fala interna periodicamente (a cada $W$ passos) baseada no histórico recente, e usa essa fala para condicionar suas ações subsequentes.

C. Controle Dirigível

O MIMIC permite que designers especifiquem o comportamento desejado em tempo de inferência:

• Prompt Inicial: O usuário pode fornecer uma descrição textual como a fala interna inicial ($m_0$).
• Atualização Periódica: O agente continua a gerar sua própria fala interna baseada no histórico, mantendo a coerência com a intenção inicial, permitindo correções de comportamento e adaptação sem retreinamento.

3. Contribuições Principais

1. Novo Paradigma Cognitivo: Propõe uma mudança de paradigma do mapeamento direto estado-ação para um modelo mediado por fala interna, alinhando-se com teorias cognitivas humanas.
2. Framework MIMIC: Uma arquitetura prática que combina VLMs para scaffolding, CVAEs para geração de fala interna latente e políticas de difusão para clonagem de comportamento.
3. Eliminação de Anotação Manual: O uso de VLMs para gerar descrições de treinamento elimina a necessidade de anotações humanas explícitas de "pensamento" para cada passo, tornando o método escalável.
4. Controle Linguístico em Tempo Real: Capacidade de direcionar a diversidade e o estilo do comportamento do agente através de prompts de linguagem natural durante a execução.

4. Resultados Experimentais

Os autores avaliaram o MIMIC em duas categorias principais:

A. Tarefas de Manipulação Robótica (Benchmark D3IL)

• Ambientes: Aligning (Alinhamento), Sorting (Classificação) e Stacking (Empilhamento).
• Métricas: Taxa de sucesso, Entropia (diversidade), Distância de Wasserstein (fidelidade à distribuição humana).
• Resultados: O MIMIC superou consistentemente o Behavior Cloning (BC) baseado em difusão (DDPM-T) de última geração.
  • Maior Diversidade: Aumentou significativamente a entropia das trajetórias geradas.
  • Maior Fidelidade: Reduziu a distância de Wasserstein em relação às distribuições de estado e tempo de conclusão humanas.
  • Melhor Sucesso: Em tarefas complexas como Stacking, o MIMIC alcançou taxas de sucesso superiores, especialmente para múltiplos objetos.

B. Coordenação Humano-IA (Overcooked)

• Ambiente: Jogo de cooperação Overcooked em layouts variados (Cramped room, Coordination ring, etc.).
• Métrica: Recompensa coletiva quando o agente MIMIC joga com um "proxy humano" (modelo humano).
• Resultados: Agentes MIMIC alcançaram recompensas coletivas significativamente maiores (até 30% de aumento) em comparação com agentes BC tradicionais, demonstrando melhor adaptação e antecipação dos comportamentos humanos.

C. Análise de Ablação e Controle

• Validação da Fala Interna: Remover a fala interna ou substituí-la por vetores aleatórios degradou o desempenho, confirmando que a representação linguística latente é crucial.
• Controle Dirigível: O MIMIC conseguiu gerar comportamentos específicos (ex: "girar o objeto antes de alinhar") seguindo prompts textuais, demonstrando controle fino sem retreinamento.

5. Significado e Impacto

• Segurança e Validação de IA: O MIMIC permite criar "surrogates" (substitutos) humanos mais realistas e diversos para testes de segurança de IA antes da implantação no mundo real.
• Interpretabilidade e Controle: Ao usar linguagem natural como interface de controle, o framework torna o processo de decisão da IA mais transparente e alinhável com valores humanos.
• Futuro da Colaboração: A abordagem sugere que modelar processos cognitivos internos (como a fala interna) é essencial para criar IAs que não apenas executam tarefas, mas compreendem e se adaptam à diversidade de estilos humanos em colaboração.

Em suma, o MIMIC demonstra que incorporar mecanismos cognitivos inspirados na fala interna melhora drasticamente a fidelidade, a diversidade e a controlabilidade de agentes de imitação, superando as limitações das abordagens puramente comportamentais.