Language and Experience: A Computational Model of Social Learning in Complex Tasks

Título: Linguagem e Experiência: Um Modelo Computacional de Aprendizado Social em Tarefas Complexas

1. O Problema

A capacidade humana de combinar orientação linguística (conselhos de outros) com experiência direta (tentativa e erro) é fundamental para o desenvolvimento e aprendizado rápido em novos ambientes. No entanto, a inteligência artificial ainda carece de uma explicação computacional geral de como integrar esses dois modos de aquisição de conhecimento para informar a exploração e a tomada de decisão em tarefas complexas.

• Limitações Atuais:
  • Aprendizado por Reforço (RL) Puro: Requer milhões de interações (tentativa e erro) para dominar tarefas complexas, sendo ineficiente em termos de amostras.
  • RL Baseado em Teoria: Melhora a eficiência amostral ao usar modelos de mundo estruturados, mas geralmente não possui capacidade de aprendizado social (não usa linguagem).
  • RL Condicionado a Linguagem: Frequentemente depende de grandes conjuntos de dados pareados (estado, linguagem) e não generaliza bem para mensagens novas e únicas (aprendizado de "um tiro").
  • Modelos de Linguagem (LLMs): Excelentes em processar linguagem, mas lutam com planejamento interativo e aprendizado corporificado (embodied learning).

O objetivo do trabalho é preencher essa lacuna criando um modelo que aprenda eficientemente de instruções linguísticas naturais e experiência direta, permitindo a transferência de conhecimento bidirecional entre humanos e máquinas.

2. Metodologia

Os autores propõem um framework de inferência probabilística conjunta sobre modelos de mundo estruturados e executáveis, combinando dados sensoriomotores e linguísticos. O modelo opera em um ambiente de 10 jogos de vídeo definidos em VGDL (Video Game Description Language), onde o agente deve descobrir regras, interações e objetivos.

Componentes Principais do Modelo:

1. Modelos de Mundo Estruturados (Programas Probabilísticos):

   • O agente mantém uma distribuição sobre teorias do mundo ($T$), representadas como programas executáveis (VGDL) que definem tipos de objetos, interações (ex: colisão mata, transforma), recompensas e condições de vitória/derrota.
   • A atualização de crenças segue a inferência Bayesiana:
     $$P(T | E, L) \propto P(E | T) \times P(L | T) \times P(T)$$
     Onde $E$ é a experiência e $L$ é a orientação linguística.

2. LLMs como Modelos de Falante (Speaker Models):

   • O modelo utiliza um LLM (LLaMA-3.1-70B) para aproximar a probabilidade de um falante humano com crenças específicas ($T$) produzir um conselho linguístico ($L$).
   • Isso permite calcular a verossimilhança $P(L | T)$, tratando a linguagem como evidência para validar ou refutar teorias candidatas sobre as regras do jogo.

3. Algoritmo de Inferência (Filtro de Partículas com Rejuvenescimento Metropolis):

   • Dado o espaço de hipóteses vasto, o modelo mantém uma população de $M=20$ teorias candidatas.
   • O algoritmo realiza: (1) reamostragem proporcional à probabilidade posterior e (2) propostas de modificações locais (regras de interação, tipos de objetos) guiadas pela experiência e pela linguagem.
   • Propostas Guiadas por Linguagem: O LLM é usado para transformar conselhos em distribuições de propostas direcionadas, acelerando a convergência para regiões promissoras do espaço de hipóteses (ex: se o conselho diz "amarelo mata", o modelo prioriza teorias com essa regra).

4. Planejamento e Exploração Estratégica:

   • O agente planeja ações baseadas na teoria de máxima a posteriori (MAP).
   • Equilibra exploração (testar interações para reduzir incerteza entre as teorias) e exploração (maximizar recompensas), selecionando subobjetivos que oferecem maior ganho de informação ou valor de jogo.

5. Geração de Conselhos:

   • O agente pode gerar conselhos para futuros jogadores amostrando do mesmo modelo de falante, traduzindo sua teoria MAP em linguagem natural pedagógica.

3. Contribuições Chave

1. LLMs como Modelos de Falante: Uso de LLMs para modelar a probabilidade de um humano gerar um conselho dado um conjunto de crenças, permitindo a interpretação e geração de orientação humana.
2. Inferência a partir de Evidência Linguística: Integração da linguagem como uma fonte de evidência Bayesiana ao lado da experiência direta, moldando a inferência sobre o mundo.
3. Aceleração de Inferência via LM: Uso de LLMs para gerar propostas de regras direcionadas, reduzindo drasticamente o tempo de convergência para o modelo de mundo correto.
4. Transferência Bidirecional: Demonstração de que o modelo pode aprender com conselhos humanos e, reciprocamente, gerar conselhos eficazes para humanos.

4. Resultados

Os autores validaram o framework através de experimentos com humanos (N=120) e simulações computacionais em 10 jogos.

• Aprendizado de Experiência Pura:

  • Humanos e o modelo proposto demonstraram alta eficiência amostral (resolvendo a maioria dos jogos em <10 vidas).
  • Baselines (RL Profundo puro e LLM puro) falharam em resolver a maioria dos jogos, destacando a importância de representações estruturadas e planejamento.

• Impacto da Orientação Linguística:

  • Aceleração: Tanto humanos quanto o modelo aprenderam significativamente mais rápido com conselhos (redução de 1.75 vidas para humanos e 1.25 para o modelo em média).
  • Segurança: Conselhos sobre perigos reduziram mortes em 37-67%.
  • Descoberta: Conselhos sobre mecânicas chave aceleraram a descoberta de combinações essenciais em até 83%.
  • Correlação: Mensagens que ajudaram humanos também ajudaram o modelo, sugerindo mecanismos compartilhados de integração.

• Transferência Humano-Máquina:

  • O modelo gerou conselhos pedagógicos que melhoraram o aprendizado de humanos ($\Delta(nAUC) = 0.15$).
  • Assimetria: O modelo aprendeu melhor com conselhos de outros modelos do que de humanos (devido à precisão e estrutura dos conselhos gerados por IA), enquanto humanos se beneficiaram de ambos, mas com vantagem modesta sobre conselhos de IA (devido a estratégias metacognitivas e analogias presentes em conselhos humanos que o modelo tem dificuldade em interpretar).

• Aprendizado Geracional (Iterado):

  • Em experimentos de 10 gerações (onde cada agente joga por apenas 2 vidas e passa um conselho), o modelo demonstrou acúmulo de conhecimento, refinando o modelo de mundo ao longo do tempo, embora com alguma volatilidade em jogos com regras complexas e interdependentes.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na interseção entre ciência cognitiva e IA, oferecendo um modelo computacional que replica a capacidade humana de integrar linguagem e experiência.

• Para a Ciência Cognitiva: Valida a hipótese de que os seres humanos inferem modelos de mundo estruturados (programas) combinando evidências sensoriais e linguísticas, apoiando teorias de "Teoria da Mente" Bayesiana.
• Para a IA: Demonstra que a integração de LLMs em frameworks probabilísticos estruturados permite:
  1. Aprendizado de "um tiro" (one-shot) em ambientes novos.
  2. Colaboração bidirecional eficiente entre humanos e máquinas.
  3. Acúmulo cultural de conhecimento através de gerações.

O estudo sugere que, para criar sistemas de IA verdadeiramente colaborativos e adaptativos, é necessário ir além do RL puro ou do uso isolado de LLMs, adotando modelos híbridos que utilizam linguagem como evidência probabilística para guiar a inferência sobre a estrutura causal do mundo.

Código e Demo: Disponíveis em github.com/ccolas/language_and_experience e cedriccolas.com/demos/language_and_experience.