CoSToM:Causal-oriented Steering for Intrinsic Theory-of-Mind Alignment in Large Language Models

Título: COSTOM: Alinhamento Orientado por Causalidade para Teoria da Mente Intrínseca em Grandes Modelos de Linguagem

1. O Problema

A Teoria da Mente (ToM) é a capacidade de atribuir estados mentais (crenças, desejos e intenções) a outros, sendo fundamental para a inteligência social humana. Embora os Grandes Modelos de Linguagem (LLMs) demonstrem desempenho promissor em benchmarks padronizados de ToM, os autores observam uma falha crítica:

• Falta de Generalização: Os modelos frequentemente falham em cenários específicos e complexos (como negociações ou persuasão), dependendo excessivamente de "andaimes" (scaffolding) de prompts para simular raciocínio.
• Desalinhamento Interno-Externo: Existe uma lacuna entre o conhecimento interno do modelo (onde ele parece entender estados mentais) e seu comportamento externo. Quando as instruções explícitas para "inferir estados mentais" são removidas, o modelo tende a gerar respostas incoerentes, sugerindo que o comportamento ToM atual é uma simulação ad hoc e não uma cognição intrínseca estável.
• Limitação das Abordagens Atuais: Métodos existentes baseiam-se em engenharia de prompts ou ajuste fino (fine-tuning) global, que não garantem que o raciocínio social seja internalizado de forma robusta e generalizável.

2. Metodologia: O Framework COSTOM

O COSTOM (Causal-oriented Steering for ToM alignment) propõe uma transição da interpretação mecânica para a intervenção ativa. O framework opera em duas fases principais, utilizando rastreamento causal (causal tracing) e direcionamento de ativação (activation steering).

Fase 1: Interpretação e Localização (Rastreamento Causal)

• Objetivo: Identificar onde as representações de ToM residem dentro da arquitetura do modelo.
• Mecanismo: O authors utilizam um setup de "duplo modelo" (um codificador de contexto e um decodificador de sonda). Eles extraem as ativações ocultas de camadas específicas do codificador e as injetam ("patching") no decodificador congelado, que tenta responder a perguntas focadas em ToM (ex: "Qual é o desejo do agente?").
• Descoberta Chave: O rastreamento revela que as informações de ToM não estão distribuídas uniformemente, mas sim predominantemente codificadas nas camadas iniciais (rasas) do modelo (ex: camadas 0-3). Além disso, a decodabilidade varia conforme a complexidade semântica (crenças e desejos são mais fáceis de decodificar do que intenções).

Fase 2: Intervenção e Alinhamento (Direcionamento de Ativação)

• Objetivo: Alinhar as representações internas com estados mentais verdadeiros para melhorar o comportamento.
• Mecanismo:
  1. Define-se um objetivo supervisionado onde o decodificador atua como um verificador diferenciável.
  2. Calcula-se a perda (cross-entropy) entre a inferência do decodificador e os rótulos reais de BDI (Crença, Desejo, Intenção).
  3. Ponte de Gradiente: O gradiente é retropropagado através do decodificador e atravessa a interface de ativação injetada, fluindo apenas para as camadas anteriores ao ponto de corte no codificador.
  4. Eficiência: Apenas adaptadores LoRA (Low-Rank Adaptation) nas camadas críticas de ToM identificadas são atualizados. As camadas profundas e o decodificador permanecem congelados.
• Vantagem: Isso "direciona" o codificador para gerar representações ricas em ToM com um número mínimo de parâmetros atualizados, evitando a sobrecarga do ajuste fino global.

Fase 3: Geração de Diálogo

• Durante a inferência, o codificador ajustado (enriquecido com ToM) processa o histórico do diálogo. Suas ativações refinadas são então usadas pelo decodificador (congelado) para gerar respostas que são naturalmente alinhadas com o raciocínio social, sem necessidade de prompts explícitos de ToM.

3. Principais Contribuições

1. Interpretação de ToM: Mapeamento sistemático que demonstra que as características de ToM são codificadas principalmente nas camadas iniciais dos LLMs, desafiando a suposição de que o raciocínio complexo reside apenas nas camadas profundas.
2. Intervenção Leve e Eficiente: Proposta do COSTOM, um framework de alinhamento que induz raciocínio social estável via direcionamento de ativação, exigindo atualizações apenas em um subconjunto pequeno de parâmetros (LoRA em camadas específicas).
3. Validação em Tarefas de Diálogo: Demonstração de que o alinhamento interno se traduz diretamente em melhor qualidade de diálogo em tarefas complexas como negociação e persuasão, superando métodos baseados em prompts e ajuste fino global.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados NEGOTIATIONTOM e PERSUASIVETOM, utilizando modelos base como Llama-3-8B e Qwen2.5-7B.

• Interpretação (RQ1): Confirmou-se que a decodabilidade de estados mentais atinge o pico nas camadas rasas (0-3) e decai rapidamente nas camadas profundas no modelo base ("colapso de representação").
• Eficácia do Alinhamento (RQ2):
  • Estabilidade: O COSTOM previne o colapso da representação em camadas profundas, mantendo uma "meseta sustentada" de alta fidelidade nos estados mentais ao longo de todas as camadas.
  • Magnitude: O método recuperou sinais de colapso total (ex: aumentando a precisão de "desejo" de ~2% para ~51% em camadas profundas) e amplificou sinais existentes (ex: precisão de "desejo" do persuasor atingindo ~99%).
• Geração de Diálogo (RQ3):
  • O COSTOM superou significativamente os baselines (Zero-shot, MindDial, LoRA de Camada Completa).
  • No modelo Llama-3, o custo de ToM aumentou de 0.081 (base) para 0.499 (COSTOM), uma melhoria de ~6x.
  • O COSTOM superou o ajuste fino global (Full-Layer LoRA), indicando que o raciocínio social é uma função cognitiva localizada e que o ajuste global introduz ruído ou sobrescreve características críticas pré-treinadas.
  • Avaliações humanas e de LLMs confirmaram maior coerência contextual e eficácia estratégica nas respostas.

5. Significância e Conclusão

O trabalho COSTOM é significativo por várias razões:

• Mudança de Paradigma: Move-se da engenharia de prompts (superficial) para a intervenção mecânica (profunda), provando que LLMs possuem capacidades de ToM intrínsecas que podem ser ativadas e estabilizadas.
• Eficiência Computacional: Oferece uma solução "plug-and-play" que não requer o re-treinamento massivo do modelo inteiro, tornando o alinhamento social viável para modelos grandes.
• Aplicabilidade Prática: Demonstra que melhorar a representação interna de estados mentais resulta diretamente em agentes de diálogo mais humanos, eficazes em negociações e persuasão, preenchendo a lacuna entre a inferência teórica e o comportamento prático.

Em resumo, o COSTOM estabelece que o alinhamento da Teoria da Mente em LLMs não depende de mais dados ou prompts complexos, mas sim da intervenção causal precisa nas camadas específicas onde o raciocínio social é codificado, permitindo a geração de comportamentos sociais robustos e estáveis.