Cognitive Chain-of-Thought (CoCoT): Structured Multimodal Reasoning about Social Situations

Resumen Técnico: Cognitive Chain-of-Thought (COCOT)

1. El Problema

Los Modelos de Lenguaje Visuales (VLMs) han demostrado avances notables en tareas factuales y centradas en objetos, pero siguen luchando con el razonamiento socio-normativo. En tareas sociales multimodales (como inferir intenciones, entender dinámicas sociales o hacer juicios morales), los modelos a menudo fallan porque:

• Desconexión perceptiva: Sus razonamientos se desvinculan de la evidencia visual concreta, llevando a "confabulaciones" o juicios que suenan plausibles pero carecen de anclaje visual.
• Fusión de procesos cognitivos: El Chain-of-Thought (CoT) estándar tiende a mezclar la percepción, la interpretación situacional y el juicio normativo en una sola narrativa fluida. Esto impide que el modelo distinga entre lo que ve (hechos observables), lo que significa la situación y qué normas sociales aplican.
• Falta de estructura: En tareas de una sola toma (single-shot) que requieren integrar percepción, contexto social y normas en una sola inferencia, el CoT no estructurado a menudo degrada el rendimiento en lugar de mejorarlo.

2. Metodología: COCOT

Los autores proponen Cognitive Chain-of-Thought (COCOT), un marco de razonamiento estructurado inspirado en principios de la ciencia cognitiva (cognición situada y sentido incremental). COCOT descompone el proceso de razonamiento en tres etapas cognitivas explícitas y secuenciales:

1. Percepción (Perception):

   • Objetivo: Anclar el razonamiento en hechos observables y verificables.
   • Restricción: El modelo solo debe describir acciones físicas, objetos, posturas corporales, arreglos espaciales y expresiones faciales.
   • Prohibición: No se permiten inferencias sobre estados mentales, intenciones o significados sociales en esta etapa.

2. Situación (Situation):

   • Objetivo: Construir un modelo coherente de la situación integrando la evidencia perceptual con conocimiento situacional (guiones sociales, interacciones observadas, inferencia de objetivos).
   • Función: Responde a "¿Qué significa lo que se observa?" y establece la dinámica relacional entre los elementos percibidos.

3. Norma (Norm):

   • Objetivo: Aplicar juicios normativos y pragmáticos.
   • Función: Evaluar la plausibilidad de las respuestas basándose en convenciones sociales, implicaturas conversacionales y normas de adecuación. Esta etapa está estrictamente restringida por las conclusiones de las etapas anteriores (Percepción $\rightarrow$ Situación).

Implementación:

• Prompting: Se utiliza como una estructura de instrucción en tiempo de inferencia para guiar al modelo paso a paso.
• Ajuste Fino Supervisado (SFT): Se entrena a modelos de código abierto (LLaVA-OneVision-7B, Qwen2.5-VL-Instruct-7B) utilizando trazas de razonamiento generadas por COCOT. El objetivo es que el modelo internalice la estructura de tres etapas, de modo que mejore su rendimiento incluso sin el scaffolding explícito durante la inferencia.

3. Contribuciones Clave

1. Marco de razonamiento estructurado: Introducción de COCOT como un marco de tres etapas (Percepción $\rightarrow$ Situación $\rightarrow$ Norma) que alinea el razonamiento de la IA con la cognición social humana, separando la observación de la interpretación.
2. Evaluación exhaustiva: Demostración de mejoras consistentes en precisión e interpretabilidad en cuatro benchmarks diversos:
   • VAGUE: Desambiguación de intenciones multimodales.
   • MoMentS: Razonamiento de Teoría de la Mente (ToM).
   • M3CoT: Razonamiento de sentido común multimodal.
   • VLGuard: Seguimiento de instrucciones de seguridad.
3. Evidencia de transferibilidad: Demostración de que los modelos pueden internalizar la estructura de razonamiento de COCOT mediante SFT, mejorando su rendimiento en inferencia directa (sin prompts estructurados), lo que indica que aprenden un patrón cognitivo y no solo un formato de salida.

4. Resultados Principales

• Mejoras de Precisión: COCOT logró mejoras consistentes sobre el Direct Prompting y el CoT estándar en todos los modelos evaluados.
  • VAGUE: Mejora promedio de +5.8% (con picos de +14.37% en Gemini-2.5-Pro).
  • MoMentS: Mejora promedio de +4.6%, con ganancias significativas (+12.8%) en la categoría de "comunicación no literal", donde el modelo debe inferir intenciones ocultas.
  • M3CoT: Mejoras sustanciales en sentido común social (ej. +11.99% en GPT-4o).
  • VLGuard: Reducción de la tasa de éxito de ataques (ASR) en tareas de seguridad, logrando rechazar instrucciones dañinas con mayor fiabilidad (ASR de 13.4% vs 29.4% en CoT estándar).
• Comparación con CoT y CCoT:
  • El CoT estándar a menudo degradó el rendimiento en tareas sociales (ej. -15.15% en GPT-o1 en M3CoT).
  • El Compositional CoT (CCoT), que usa grafos de escena, también falló en muchas tareas sociales, sugiriendo que la descomposición visual genérica no sustituye la necesidad de un anclaje cognitivo social.
• Evaluación Humana: Los evaluadores humanos prefirieron las trazas de COCOT sobre las de CoT estándar en un 61.8% de los casos, destacando una mayor coherencia lógica (+0.48 en escala Likert) y mejor anclaje perceptual.
• Ablación: Los estudios de ablación mostraron que cada etapa es crucial. En tareas de Teoría de la Mente, la eliminación de la etapa "Norma" provocó una caída drástica, confirmando que la integración completa de las tres etapas es necesaria para el razonamiento social holístico.

5. Significado e Impacto

El trabajo de COCOT es significativo por varias razones:

• Interpretabilidad y Diagnóstico: Al separar explícitamente la percepción de la interpretación, COCOT permite a los investigadores y usuarios identificar exactamente dónde falla el razonamiento (¿el modelo vio mal la imagen? ¿malinterpretó la situación? ¿aplicó mal la norma?).
• Alineación Social: Proporciona un mecanismo para alinear los VLMs con normas sociales y de seguridad, reduciendo la probabilidad de que generen respuestas dañinas o socialmente inapropiadas basadas en malentendidos visuales.
• Aprendizaje de Estructura Cognitiva: La capacidad de los modelos para internalizar este esquema de razonamiento mediante SFT sugiere que la estructura cognitiva puede ser aprendida y transferida, no solo seguida mediante instrucciones de prompt.
• Fundamento para Sistemas Confiables: Establece que el razonamiento multimodal confiable en contextos sociales requiere un andamiaje cognitivo explícito que respete la distinción entre lo observable, lo contextual y lo normativo.

En conclusión, COCOT representa un paso crucial hacia VLMs más robustos y socialmente inteligentes, demostrando que la estructura del razonamiento es tan importante como la capacidad del modelo para resolver tareas complejas de interacción humano-máquina.