Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations

Resumo Técnico: Cognitive Chain-of-Thought (COCOT)

1. O Problema

Os Modelos de Linguagem e Visão (VLMs) têm demonstrado avanços notáveis em tarefas factuais e centradas em objetos. No entanto, eles enfrentam dificuldades significativas no raciocínio socionormativo — a capacidade de inferir intenções, entender dinâmicas sociais e fazer julgamentos morais a partir de cenas visualmente fundamentadas.

O problema central identificado é que o Chain-of-Thought (CoT) padrão, embora eficaz em matemática e lógica formal, falha em tarefas sociais multimodais. O CoT "ingênuo" tende a:

• Confluir processos cognitivos distintos (percepção, interpretação situacional e julgamento normativo) em uma única narrativa.
• Degenerar em observações não fundamentadas ou julgamentos plausíveis, mas incorretos, perdendo a âncora perceptual.
• Em alguns casos, reduzir o desempenho em tarefas pesadas de percepção, levando o modelo a ignorar detalhes visuais cruciais em favor de inferências sociais genéricas.

2. Metodologia: COCOT

Os autores introduzem o Cognitive Chain-of-Thought (COCOT), um framework de raciocínio estruturado inspirado em princípios da ciência cognitiva (cognição fundamentada e construção de sentido incremental). O COCOT decompõe o raciocínio visual-social em três estágios cognitivos distintos e sequenciais:

1. Percepção (Perception):

   • Objetivo: Ancorar o raciocínio em evidências observáveis e verificáveis.
   • Restrição: O modelo deve descrever apenas ações físicas, objetos, posturas corporais, arranjos espaciais e expressões faciais. É estritamente proibido inferir estados mentais, intenções ou significados sociais nesta etapa.
   • Função: Evitar "vazamento" de estados mentais para a fase de observação bruta.

2. Situação (Situation):

   • Objetivo: Construir um modelo coerente da situação social.
   • Processo: Integra as evidências perceptivas da etapa 1 com conhecimento situacional (scripts sociais, padrões de interação, inferência de objetivos).
   • Função: Responder "o que isso significa?" com base no que foi observado, estabelecendo a dinâmica entre os agentes antes de julgar.

3. Norma (Norm):

   • Objetivo: Aplicar julgamento normativo e pragmático.
   • Processo: Avalia a plausibilidade das respostas candidatas com base nas convenções sociais, implicaturas conversacionais e normas de adequação, estritamente constrangido pelo modelo de situação anterior.
   • Função: Responder "o que é socialmente apropriado ou provável?".

Abordagens de Implementação:

• Prompting: Uso de scaffolds explícitos durante a inferência para guiar o modelo através das três etapas.
• Ajuste Fino Supervisionado (SFT): Treinamento de modelos de código aberto (LLaVA-OneVision-7B e Qwen2.5-VL-7B) em traços de raciocínio gerados por COCOT. O objetivo é internalizar a estrutura cognitiva, permitindo que o modelo aplique o padrão de três etapas implicitamente, mesmo sem o prompt explícito na inferência.

3. Contribuições Principais

1. Framework Estruturado para Compreensão Social Multimodal: Propõe a decomposição cognitiva (Percepção → Situação → Norma) para alinhar o raciocínio do modelo com a cognição social humana, separando a observação da interpretação.
2. Avaliação Abrangente: Demonstra ganhos de acurácia e interpretabilidade em quatro benchmarks distintos:
   • VAGUE: Desambiguação de intenção multimodal.
   • MoMentS: Teoria da Mente (ToM) multimodal.
   • M3CoT: Raciocínio de senso comum multimodal.
   • VLGuard: Seguimento de instruções de segurança.
3. Evidência de Transferibilidade via SFT: Prova que a estrutura de raciocínio é aprendível. Modelos ajustados finamente mantêm melhorias de 5-6% mesmo sem o scaffolding explícito, indicando internalização do padrão cognitivo e não apenas formatação de saída.
4. Melhoria na Interpretabilidade: A estrutura explícita permite a localização de erros (falha na percepção vs. falha na norma) e aumenta a confiança humana no processo de decisão.

4. Resultados Experimentais

• Desempenho Geral: O COCOT obteve melhorias consistentes em comparação com Direct Prompting e CoT padrão.
  • VAGUE: Aumento médio de +5,8% (com picos de +14,37% no Gemini-2.5-Pro).
  • MoMentS: Aumento médio de +4,6%, com ganhos significativos (+12,8%) em categorias de "comunicação não literal", onde a ponte entre percepção e estado mental é crítica.
  • M3CoT: Ganhos substanciais em senso comum social (ex: +11,99% no GPT-4o).
  • VLGuard: Redução significativa na Taxa de Sucesso de Ataque (ASR), melhorando a segurança ao rejeitar instruções nocivas fundamentadas em contexto visual.
• Comparação com CoT e CCoT:
  • O CoT padrão muitas vezes degradou o desempenho em tarefas sociais.
  • O Compositional CoT (CCoT), que usa grafos de cena, mostrou-se ineficaz ou prejudicial em tarefas que exigem inferência social sutil, pois foca em objetos e atributos sem estruturar a dinâmica social.
• Estudos de Ablação:
  • Em tarefas de intenção (VAGUE), cada estágio adicionado trouxe ganhos incrementais.
  • Em tarefas de Teoria da Mente (MoMentS), a estrutura completa (os 3 estágios) foi essencial para recuperar o desempenho, mostrando uma dinâmica em "V" onde estágios parciais pioraram o resultado.
• Avaliação Humana: Os avaliadores humanos preferiram os traços do COCOT em 61,8% dos casos (vs. 38,2% do CoT), destacando maior coerência lógica e fundamentação social.

5. Significado e Conclusão

O trabalho estabelece que a estruturação do raciocínio em estágios cognitivos fundamentados é crucial para a inteligência multimodal em contextos sociais. O COCOT não é apenas uma variação de prompt, mas um framework que:

• Mitiga Hallucinações Sociais: Ao forçar a separação entre o que é visto e o que é inferido, reduz julgamentos plausíveis, mas falsos.
• Aumenta a Robustez de Segurança: Melhora a capacidade dos modelos de identificar violações de normas em contextos visuais complexos.
• Oferece Interpretabilidade: Permite que humanos auditem onde o raciocínio falhou (na percepção, na modelagem da situação ou na aplicação da norma).

Limitações: O framework é específico para raciocínio social e pode não generalizar para domínios puramente matemáticos ou de código. Além disso, como em qualquer método de CoT, não garante que o raciocínio interno seja fiel (pode ser uma racionalização post-hoc), e a estruturação pode, inadvertidamente, amplificar vieses se os dados de treinamento contiverem estereótipos.

Em suma, o COCOT representa um avanço significativo na direção de sistemas multimodais mais confiáveis, alinhados socialmente e interpretáveis, ao formalizar o processo de "sentido" que os humanos realizam ao interagir com cenas sociais.