Generating Place-Based Compromises Between Two Points of View

1. Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLM) sobresalen en el razonamiento académico, pero luchan con la inteligencia social, particularmente en la generación de compromisos empáticamente neutrales entre puntos de vista opuestos. Aunque los LLM pueden producir declaraciones de consenso o respuestas empáticas, a menudo fallan al actuar como mediadores neutrales que proponen resoluciones aceptables para ambas partes sin favorecer a un lado.

• La Brecha: Los métodos existentes suelen centrarse en un consenso amplio o en una empatía simple, pero generar un compromiso requiere proponer una solución donde ambas partes estén mejor que sin el compromiso, lo que exige un equilibrio de empatía hacia posturas conflictivas.
• El Reto: Los LLM tienden a anclarse en un punto de vista o a no equilibrar el peso emocional de los argumentos opuestos, lo que conduce a resultados sesgados o inaceptables.

2. Metodología

Los autores proponen un marco de dos etapas: (1) Ingeniería de Prompts para generar datos sintéticos de alta calidad utilizando un modelo propietario grande, y (2) Alineación de Modelos para destilar estas capacidades en modelos más pequeños y de código abierto sin requerir retroalimentación externa durante la inferencia.

A. Conjunto de Datos: ContrastingViews

El estudio utiliza un subconjunto del conjunto de datos EmpathyFromPerspectives (Chen et al., 2025), que contiene 2.400 pares de puntos de vista contrastantes sobre espacios públicos (por ejemplo, parques, senderos).

• Visión A: Perspectiva positiva (sentirse seguro/acogido).
• Visión B: Perspectiva negativa (sentirse inseguro/excluido).
• Cada visión incluye una descripción del lugar, un razonamiento y mejoras sugeridas.

B. Etapa 1: Ingeniería de Prompts y Generación de Datos

Los autores evaluaron cuatro estrategias de prompts utilizando Claude 3 Opus para generar compromisos:

1. Prompt Único: Instrucción básica para generar un compromiso.
2. Cadena de Pensamiento (CoT): Pedir explícitamente al modelo que identifique similitudes antes de generar.
3. CoT + Autoevaluación del LLM: El modelo genera un compromiso y luego se autoevalúa en cuanto a su similitud empática.
4. CoT + Retroalimentación (Iterativo): El método más efectivo. Utiliza un Modelo de Similitud Empática externo (basado en el modelo de incrustación e5-large) para puntuar el compromiso generado contra la Visión A y la Visión B.
   • Mecanismo: El sistema calcula la diferencia absoluta entre las puntuaciones de similitud ($|score_A - score_B|$). Si la diferencia es alta, se solicita al modelo que refine la respuesta para minimizar esta brecha, iterando hasta que el compromiso sea empáticamente neutral.

C. Etapa 2: Evaluación Humana

Un estudio con 50 participantes evaluó la aceptabilidad de los compromisos generados por las diferentes estrategias.

• Método: Se asignó a los participantes un punto de vista específico (ya sea el positivo o el negativo) y se les pidió que calificaran la aceptabilidad de los compromisos desde esa perspectiva.
• Métrica: Puntuación de aceptabilidad (1-100) y clasificación de preferencia (Primera/Segunda opción).

D. Etapa 3: Alineación de Modelos Más Pequeños

Para hacer el sistema eficiente y eliminar la necesidad del modelo propietario y la puntuación de similitud externa durante la inferencia, los autores entrenaron modelos de código abierto más pequeños (Llama-3.1 8B y Mistral-7B).

• Enfoque: En lugar del ajuste fino estándar (imitación), utilizaron una alineación basada en Estimación de Contraste de Ruido (NCE).
• Fundamento: Inspirado en cómo los humanos aprenden normas sociales distinguiendo entre comportamientos conformes y violadores, el modelo se entrena para discriminar entre compromisos "buenos" (validados por humanos) y salidas "malas" (del modelo base).
• Función de Pérdida: La pérdida NCE maximiza la probabilidad del compromiso objetivo (bueno) mientras minimiza la probabilidad de la salida del modelo base. Esto preserva el amplio conocimiento mundial del modelo (evitando el olvido catastrófico) mientras internaliza la preferencia por la neutralidad.
• Alternativa: También exploraron una alineación basada en Pérdida de Tarea que incorpora puntuaciones ROUGE para asegurar la fidelidad semántica con el compromiso objetivo.

3. Contribuciones Clave

1. Marco de Neutralidad Empática: Se introduce un método novedoso para generar compromisos equilibrados no solo lógicamente, sino emocionalmente, minimizando la brecha de empatía entre puntos de vista opuestos.
2. Ingeniería de Prompts Iterativa: Se demuestra que CoT + Retroalimentación Externa (utilizando un modelo de similitud empática) supera significativamente a los métodos estándar de CoT y autoevaluación en la generación de compromisos neutrales.
3. Alineación Basada en NCE: Se propone un método para alinear LLMs más pequeños para generar compromisos empáticamente neutrales sin requerir modelos de recompensa externos o estimadores de similitud en tiempo de inferencia. Este enfoque supera al ajuste fino estándar y evita los problemas de olvido catastrófico asociados con la Optimización de Preferencia Directa (DPO) en este contexto.
4. Creación de Conjunto de Datos Sintético: Se generó un conjunto de datos de alta calidad con más de 2.400 compromisos basados en lugares, validados por preferencia humana, para entrenar y evaluar la inteligencia social en LLMs.

4. Resultados

Evaluación Humana (Ingeniería de Prompts)

• Preferencia: El método CoT+Retroalimentación fue el claro ganador.
  • Primera Preferencia: CoT+Retroalimentación 1 (37%) y CoT+Retroalimentación 2 (40%).
  • Comparación: Superó significativamente a CoT (18%) y Prompt Único (5%).
  • Significancia Estadística: La preferencia por CoT+Retroalimentación sobre Prompt Único fue estadísticamente significativa ($p \le 0.002$).
• Aceptabilidad: Los compromisos generados con retroalimentación de neutralidad empática fueron calificados como altamente aceptables tanto por los titulares de puntos de vista positivos como negativos.

Alineación de Modelos (Modelos Más Pequeños)

• Calidad de Generación: Los modelos alineados (Llama+NCE y Mistral+NCE) lograron las puntuaciones ROUGE más altas (por ejemplo, Llama NCE: 0.315 ROUGE-1 frente a Base: 0.164), indicando una mejor alineación semántica con los compromisos validados por humanos.
• Neutralidad Empática: Los modelos alineados produjeron compromisos con una brecha de "neutralidad" ($|score_A - score_B|$) significativamente menor, acercándose al rendimiento de las salidas generadas mediante prompts iterativos.
• Retención de Conocimiento: A diferencia de DPO, que causó olvido catastrófico en experimentos iniciales, los enfoques NCE y de Pérdida de Tarea preservaron el conocimiento preentrenado de los modelos (verificado mediante pruebas de verosimilitud logarítmica en WikiText).

5. Significado y Trabajo Futuro

• Aplicación Práctica: Este trabajo proporciona una pipeline escalable para desplegar IA socialmente inteligente en resolución de conflictos, toma de decisiones colaborativa y escenarios de mediación donde la imparcialidad es crítica.
• Eficiencia: Al destilar las capacidades de un modelo propietario grande en modelos de código abierto más pequeños mediante alineación NCE, el sistema se vuelve desplegable sin el costo computacional de bucles de retroalimentación externa iterativos.
• Limitaciones y Direcciones Futuras:
  • El conjunto de datos actual se limita a conflictos basados en lugares (seguridad/acogimiento). El trabajo futuro apunta a expandirse a dominios abstractos como debates de políticas y dilemas éticos.
  • El estudio reconoce posibles sesgos en los datos de entrenamiento y la necesidad de abordar las asimetrías de poder en futuras iteraciones.
  • Los autores planean explorar diálogos de múltiples turnos para simular negociaciones en curso en lugar de compromisos de un solo disparo.

En conclusión, el artículo establece que la retroalimentación empática externa es crucial para entrenar LLMs para generar compromisos neutrales y que la alineación basada en NCE es un método efectivo y eficiente para transferir estas capacidades de inteligencia social a modelos más pequeños y de código abierto.