Resumen Técnico: Modelos de Mundo Cognitivo para la Evaluación del Proceso de Influencia Social

1. Definición del Problema

Los sistemas de Diálogo de Influencia Social (SID, por sus siglas en inglés) pretenden alterar los estados cognitivos internos de un usuario —específicamente creencias, deseos, intenciones y emociones— en lugar de simplemente completar tareas externas. Mientras que los Diálogos Orientados a Tareas se centran en la completitud de objetivos y los Diálogos No Cooperativos en la resolución de conflictos, el SID requiere medir el proceso del cambio cognitivo.

Los métodos de evaluación actuales no logran capturar este criterio orientado al proceso:

• Métricas de Texto Superficiales (BLEU/ROUGE): Ignoran por completo el objetivo de la influencia social.
• LLM-as-Judge (LLM como Juez): Proporcionan puntuaciones terminales de caja negra que no revelan nada sobre la trayectoria de la evolución del estado cognitivo.
• Evaluación Humana: Costosa, no escalable e incapaz de rastrear cambios cognitivos granulares a nivel de cada turno.
• Simuladores de Usuario Existentes: Predicen las expresiones del usuario pero fallan al modelar el "porqué" subyacente (estados internos BDI/E), dejando las creencias, deseos, intenciones y emociones sin observar.

El desafío central es desarrollar un marco de evaluación que pase del juicio terminal al seguimiento del proceso, cuantificando cómo un agente cambia de manera mensurable el estado cognitivo interno de un usuario a lo largo de una conversación.

2. Metodología: El Modelo de Mundo Cognitivo (CogWM)

Los autores proponen CogWM, un modelo de usuario basado en LLM que replantea la evaluación del diálogo de "¿qué dijo el usuario?" a "¿cómo evolucionó su estado cognitivo interno?".

2.1 Marco Central

CogWM opera como un predictor conjunto de Expresiones del Usuario ($U_t$) y Estados Cognitivos BDI/E ($S_t$).

• Dimensiones BDI/E:
  • Creencia (Belief): Lo que el usuario cree, sabe o juzga.
  • Deseo (Desire): Lo que el usuario quiere, necesita o prefiere.
  • Intención (Intention): Lo que el usuario planea, decide o se compromete a hacer.
  • Emoción (Emotion): El estado afectivo actual del usuario y su intensidad.
• Entrada/Salida: Dado un perfil de usuario ($P$), un contexto de tarea ($C$) y un historial de diálogo ($H_{<t}$), CogWM predice el siguiente estado $S_t$ y la expresión $U_t$.
• Doble Rol: Funciona tanto como un Simulador de Usuario (generando respuestas y estados realistas) como una Plataforma de Evaluación (cuantificando la influencia de un agente sobre el usuario simulado).

2.2 Construcción de Datos: Resumir-y-Asignar (SaA)

Para entrenar CogWM, los autores construyeron un conjunto de datos de 150,454 muestras de turnos de usuario a través de cuatro escenarios: Apoyo Emocional (ESConv), Persuasión para Donaciones Caritativas (P4G), Recomendación Conversacional (DuRecDial) y Dominio Abierto (DailyDialog).

• Pipeline de Anotación: Se desarrolló un método de dos etapas:
  1. Resumen Global: Extrae elementos BDI globales y puntuaciones del diálogo completo.
  2. Asignación Temporal: Asigna estados BDI/E por turno con evidencia de fundamentación y los vincula al resumen global.
• Calidad: La validación humana mostró un recall de BDI global de 0.79 y un coeficiente $\kappa$ de Cohen para emociones de 0.69.

2.3 Marco de Evaluación: Sistema de Tres Niveles

La evaluación se estructura en tres niveles jerárquicos:

1. Fidelidad a Nivel de Turno: Evalúa la calidad de la respuesta individual utilizando 8 métricas automáticas (ej. similitud semántica, MAE) y 5 métricas semánticas de LLM-as-Judge.
2. Dinámica de Estado a Nivel de Trayectoria: Modela la evolución de múltiples turnos utilizando cuatro indicadores adaptados del análisis de series temporales financieras:
   • AUC: Desempeño acumulativo (Área Bajo la Curva).
   • $\Delta$: Cambio neto entre el estado inicial y el final.
   • PSR: Frecuencia de mejora (Relación de Pasos Positivos).
   • Mono: Consistencia direccional.
3. Puntuación Compuesta a Nivel de Tarea: Agrega las métricas de trayectoria en dos puntuaciones:
   • CTS (Puntuación de Trayectoria Compuesta): Una suma ponderada ($0.40 \cdot AUC + 0.30 \cdot PSR + 0.30 \cdot \Delta$) que mide la influencia cognitiva global.
   • GO (Buen Resultado/GoodOutcome): Un indicador binario de si el diálogo logró un resultado conductual específico (ej. donación, aceptación).

3. Contribuciones Clave

1. Marco de Evaluación BDI/E de Tres Niveles: Adapta el modelo clásico BDI a la era de los LLM, permitiendo una evaluación descomponible desde la fidelidad a nivel de turno hasta el impacto de la trayectoria global.
2. Pipeline de Anotación SaA: Un método escalable para generar más de 150K muestras anotadas con estados BDI/E explícitos e interpretables a través de cuatro distintos escenarios de influencia social.
3. Modelo CogWM: Un modelo entrenado conjuntamente (basado en Qwen3-14B) que predice tanto el estado cognitivo como el texto. Logra una precisión de emoción del 77.6%, una mejora de 2.1$\times$ sobre GPT-5.5, y supera significativamente a los modelos de base en el seguimiento de creencias, deseos e intenciones.
4. Validación Empírica de Proceso vs. Resultado: A través de 3,600 ensayos de discriminación multi-agente, el estudio demuestra que la mejora de la trayectoria cognitiva (CTS) y los resultados conductuales (GO) no son equivalentes. Un agente puede lograr un resultado conductual positivo (GO=true) mientras falla en producir un cambio cognitivo significativo (trayectoria plana), y viceversa.

4. Resultados Experimentales

4.1 Fidelidad de la Simulación

• Predicción de Estado: CogWM-14B alcanzó una precisión de emoción del 77.6%, superando a GPT-5.5 (36.4%) y DeepSeek-V4-Pro (31.0%). También lideró en similitud semántica BDI y precisión de puntuación cuantitativa (MAE).
• Generación de Expresiones: CogWM logró una Relación de Longitud (LenR) de 1.01 (coincidencia casi perfecta con la verdad de referencia), mientras que los modelos de API base tendían a generar respuestas excesivamente largas (LenR > 1.8).
• Necesidad de Entrenamiento Conjunto: Los estudios de ablación confirmaron que el seguimiento del estado cognitivo no puede adquirirse solo mediante la distribución de entrada compartida; se requiere la optimización conjunta explícita de la predicción de estado y la generación de texto.

4.2 Discriminación de Agentes

En ensayos comparando seis agentes comerciales (GPT-5.5, Llama-4-Scout, DeepSeek-V4-Pro, etc.):

• Ranking: Llama-4-Scout ocupó el primer lugar con un CTS de +0.233, demostrando una capacidad superior para impulsar trayectorias cognitivas positivas.
• Tipología: Los agentes fueron categorizados en "Todoterrenos" (Llama), "Sprint" (Qwen: alto cambio neto pero menor ganancia acumulada), "Constantes" (Claude) y "Vacíos" (Gemini: bajo desempeño en todas las métricas).
• Impacto de CoT: El uso de Chain-of-Thought (Cadena de Pensamiento) afectó asimétricamente a los agentes, mejorando significativamente la trayectoria emocional de GPT-5.5, pero ofreciendo ganancias marginales para agentes que ya eran fuertes.
• Divergencia CTS vs. GO: El estudio destacó que las puntuaciones altas de GO (éxito de la tarea) no garantizan puntuaciones altas de CTS (mejora cognitiva). Por ejemplo, en apoyo emocional, algunos agentes lograron GO=true mediante un cierre cortés sin impulsar cambios cognitivos reales, un matiz capturado solo por el CTS.

5. Significación y Reivindicaciones

El artículo afirma cambiar el paradigma de la evaluación del Diálogo de Influencia Social de la evaluación terminal al seguimiento del proceso. Al hacer explícito y auditable el estado cognitivo interno del usuario, CogWM proporciona:

• Interpretabilidad: Las conclusiones de la evaluación pueden rastrearse hasta turnos específicos y dimensiones BDI/E.
• Granularidad: Captura cambios cognitivos sutiles que las métricas superficiales pasan por alto.
• Escalabilidad: Permite la evaluación automatizada y de bajo costo de escenarios complejos de influencia social.

Los autores posicionan a CogWM no solo como una métrica, sino como una infraestructura de IA social (análoga a los túneles de viento para aeronaves) que permite a los desarrolladores observar el impacto cognitivo de los agentes antes de su despliegue, ofreciendo así una herramienta concreta para prevenir la IA manipuladora y asegurar una influencia social responsable. El trabajo enfatiza que la verdadera influencia social requiere cambios mensurables en el estado interno del usuario, no solo la completitud de una transacción.