Resumo Técnico: OSCTOM – Geração Adversarial Guiada por RL para Teoria da Mente de Alta Ordem

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) demonstram proficiência em tarefas linguísticas padrão, mas exibem desempenho inconsistente no raciocínio de Teoria da Mente (ToM), particularmente em contextos sociais complexos envolvendo crenças recursivas e assimetria de informação. Benchmarks existentes, como o ExploreToM, frequentemente falham em testar adequadamente o Conflito Observador-Eu — um estado cognitivo específico onde um observador atribui uma crença a outro agente que contradiz o conhecimento factual interno do próprio observador.

As limitações atuais incluem:

• Benchmarks Estáticos: Conjuntos de dados iniciais (e.g., ToMi) dependem de vignettes escritas à mão que os modelos podem resolver por correspondência de padrões superficiais, em vez de rastreamento genuíno de crenças.
• Limitações de Geração Baseada em Busca: Frameworks como o ExploreToM utilizam busca heurística A* com Linguagens Específicas de Domínio (DSLs). Embora eficazes para gerar histórias adversariais, esses métodos são restringidos por espaços de busca rígidos, carecem de adaptação de política a partir da experiência e frequentemente priorizam o volume informativo sobre a complexidade estrutural específica de conflitos de crenças aninhadas.
• Lacunas de Raciocínio: Os modelos frequentemente falham quando as estruturas da tarefa mudam ligeiramente, indicando uma falta de modelos internos estáveis para estados de crença causal, especialmente em cenários multicamadas e recursivos (e.g., Agente A raciocinando sobre a crença do Agente B referente à intenção do Agente C).

2. Metodologia

O framework OSCToM aborda essas lacunas por meio de um pipeline de quatro componentes projetado para gerar e treinar em cenários adversariais de ToM de alta ordem.

2.1 Linguagem Específica de Domínio Estendida (OSCT-DSL)

Os autores introduzem o OSCT-DSL, uma extensão de DSLs existentes capaz de formalizar o Conflito Observador-Eu.

• Formalismo: Define estados do mundo ($W$) e estados de crença ($B$) para agentes, suportando crenças recursivas até a 4ª ordem: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$.
• Primitivas Adversariais: A linguagem inclui operadores específicos para quebrar a simetria informacional:
  • Localização Enganosa: Um agente mente sobre sua localização, criando uma falsa crença em outro enquanto mantém o conhecimento interno verdadeiro.
  • Observação Assimétrica: Um agente testemunha uma ação sem que a parte observada ganhe conhecimento recíproco.
  • Engano Recursivo (Doble Bluff): Um agente manipula outro para mentir a um terceiro, sobrepondo crenças de 3ª ordem a falsidades de 1ª ordem.

2.2 Pipeline de Avaliação Surrogada Compositiva

Para superar o custo computacional de usar grandes LLMs para cálculo de recompensa durante o Aprendizado por Reforço (RL), os autores empregam um Pipeline Surrogado Compositivo.

• Destilação: Conhecimento do Llama-3.3-70B é destilado em seis módulos leves DistilBERT treinados em 10.000 histórias anotadas.
• Seis Dimensões Cognitivas: A recompensa é decomposta em pontuações específicas em vez de um único escalar:
  1. Detector de Falsa Crença: Verificação binária de validade (deve existir para ToM).
  2. Classificador de Profundidade ToM: Estima a ordem recursiva (1ª–4ª).
  3. Pontuador de Engano: Densidade de operadores manipulativos.
  4. Pontuador de Complexidade Social: Frequência de comunicação entre agentes.
  5. Pontuador de Complexidade Temporal: Número de transições distintas de estado do mundo.
  6. Detector OSCT: Identifica especificamente estados de Conflito Observador-Eu (maior peso de recompensa).
• Eficiência: Isso reduz o tempo de avaliação por história de ~14 segundos (consulta LLM) para <50 milissegundos, permitindo a síntese de um corpus de 15.000 amostras.

2.3 Geração Adversarial Guiada por RL

O processo de geração de histórias é modelado como um Processo de Decisão de Markov (MDP).

• Seleção de Algoritmo: Os autores compararam A2C, PPO e Redes Q Profundas (DQN). O DQN foi selecionado por sua estabilidade superior no aprendizado de transições simbólicas discretas no espaço de estados da DSL e sua capacidade de encontrar casos de falha de ToM que a busca heurística poderia perder.
• Treinamento: O agente DQN otimiza uma função de recompensa composta ($R$) pesada fortemente na detecção de OSCT (40%) e na profundidade ToM (30%).
• Melhoria Narrativa: Rastros simbólicos DSL gerados pelo agente RL são convertidos em prosa natural usando Llama-3.3-70B via API OpenRouter, preservando marcadores cognitivos como cadeias de engano e ordenação temporal não linear.

2.4 Ajuste Fino de Currículo em Duas Etapas

O conjunto de dados gerado é usado para ajustar finamente o Llama-3.1-8B-Instruct usando um currículo em etapas para garantir o aprendizado estável de raciocínio de alta ordem:

• Etapa 1 (Fundação): Treinamento em cenários de ToM de 1ª e 2ª ordem para fundamentar o modelo na tomada de perspectiva básica.
• Etapa 2 (Domínio): Treinamento no corpus completo, incluindo conflitos recursivos de 3ª e 4ª ordem, inicializado a partir do checkpoint da Etapa 1.
• Técnica: Ajuste Fino Eficiente em Parâmetros (PEFT) via LoRA (rank 16, fator de escala 32) em todas as camadas de projeção, permitindo treinamento em uma única GPU.

3. Resultados Chave

O modelo resultante, OSCToM-8B, foi avaliado contra sete sistemas de base (incluindo Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B e variantes Qwen2.5) em quatro benchmarks.

• Benchmark FANToM (Assimetria de Informação): O OSCToM-8B alcançou 76,0% de precisão. Isso representa uma melhoria massiva sobre o baseline ExploreToM, que relatou 0,2% de precisão no mesmo benchmark.
• Benchmark ToMi: O OSCToM-8B alcançou 79,5% de precisão, superando o Llama-3.1-8B base (64,3%) e modelos maiores como Qwen2.5-32B (74,7%).
• Benchmark BigToM: O modelo atingiu 89,8% de precisão, correspondendo de perto ao Mistral-NeMo-12B (90,5%) apesar de ter 4 bilhões de parâmetros a menos.
• Benchmark Hi-ToM: O OSCToM-8B pontuou 65,3%, igualando o Phi-3-Medium-14B e superando significativamente o Gemma-2-27B (20,6%).

Eficiência de Inferência:

• Diferentemente do ExploreToM, que depende de busca iterativa A* com complexidade $O(N)$ e latência de ~15,0s por consulta, o OSCToM-8B usa inferência neural direta (complexidade $O(1)$).
• A latência medida é de 2,62 segundos, uma redução de 5,7x no tempo de resposta enquanto mantém precisão superior.

4. Significado e Alegações

O artigo afirma que o OSCToM demonstra que a síntese de dados adversariais direcionada combinada com aprendizado de currículo pode permitir que modelos menores (8B parâmetros) superem modelos significativamente maiores em tarefas complexas de raciocínio social.

• Conflito Observador-Eu: O trabalho identifica e aborda um modo de falha específico na avaliação atual de ToM: a incapacidade de distinguir entre o conhecimento interno de um observador e sua atribuição de crenças a outros.
• Eficiência vs. Escala: O framework prova que capacidades de raciocínio de alta ordem não exigem estritamente contagens massivas de parâmetros se os dados de treinamento forem estruturados para visar explicitamente conflitos de crenças recursivas.
• Praticidade: Ao substituir a busca heurística por geração guiada por RL e avaliação surrogada, o sistema alcança um ganho de eficiência de 6x na síntese de dados e uma melhoria de 5,7x na velocidade de inferência, tornando o raciocínio de ToM de alta ordem praticamente implantável.

Os autores concluem que, embora a DSL atual foque em conflitos locativos e enganosos, o framework fornece um caminho principiado para uma inteligência social mais generalizável em LLMs, sugerindo que a "lacuna de raciocínio" pode ser superada através de treinamento adversarial estruturado em vez de simplesmente escalar o tamanho do modelo.