Consensus vs. Dissent: Dynamic LLM Modeling of Subjective Preferences in Group Recommenders

Resumen Técnico: Consenso vs. Disenso: Modelado Dinámico de Preferencias Subjetivas mediante LLM en Recomendadores de Grupo

Declaración del Problema
Los Sistemas de Recomendación de Grupo (GRS, por sus siglas en inglés) enfrentan el desafío inherente de reconciliar las preferencias individuales conflictivas en un único resultado grupal. Los enfoques tradicionales dependen de estrategias de agregación estáticas basadas en la elección social (por ejemplo, Promedio, Menor Descontento, Mayor Placer) para cerrar la brega entre las calificaciones individuales y los resultados grupales. Si bien estos métodos son computacionalmente eficientes y transparentes, carecen de adaptabilidad ante las dinámicas de grupo matizadas, tales como la distribución de las preferencias (por ejemplo, consenso uniforme vs. disenso de coalición). Existe una brecha significativa entre la evaluación de estos sistemas —donde los estudios humanos evalúan la percepción de equidad, satisfacción y consenso— y su implementación. Los sistemas actuales carecen de un mecanismo escalable para predecir cómo se sentirá un grupo específico respecto a una recomendación en tiempo real, lo que impide la selección dinámica de la estrategia de agregación óptima basada en métricas humanas subjetivas.

Metodología
Los autores proponen un flujo de trabajo que integra Modelos de Lenguaje de Gran Escala (LLM) ajustados (fine-tuned) que actúan como "jueces" para seleccionar dinámicamente la mejor estrategia de agregación para un escenario de grupo determinado. La metodología consta de tres fases principales:

1. Preparación de Datos y Destilación de Conocimiento:

   • Fuente: El proceso comienza con un conjunto de datos de verdad fundamental humana ($n=1,152$ evaluaciones) proveniente de estudios de usuarios previos (Barile [4], Barile et al. [5]), donde los participantes calificaron las recomendaciones grupales en términos de equidad, satisfacción y consenso utilizando una escala Likert de 7 puntos.
   • Expansión Sintética: Para abordar la escasez de datos para el entrenamiento, los autores emplearon la Destilación de Conocimiento. Se utilizó un modelo profesor de alta capacidad (DeepSeek-V3.1) para generar el razonamiento sintético de Cadena de Pensamiento (CoT) para la verdad fundamental humana existente. Esto expandió el conjunto de entrenamiento de 890 instancias a 5,318 muestras, capturando diversas justificaciones para puntuaciones idénticas mientras se preservaban las puntuaciones humanas originales.
   • Ajuste Fino (Fine-Tuning): Dos modelos de código abierto, Llama-3.1-8B-Instruct y OLMo-3-7B-Instruct-SFT, fueron ajustados sobre este conjunto de datos aumentado utilizando el Ajuste Fino Eficiente de Parámetros (LoRA). Se aplicó una función de enmascaramiento de etiquetas personalizada para asegurar que los modelos aprendieran a replicar el proceso de razonamiento y las puntuaciones en lugar de la estructura del prompt.

2. Evaluación de LLM:

   • Los modelos ajustados ("Judgmental Llama" y "Judgmental Olmo") fueron evaluados contra los modelos base y la verdad fundamental humana utilizando la Distancia de Wasserstein (Distancia del Transportista de la Tierra) para medir la alineación de la distribución y replicar la varianza ($\sigma > 1.55$) encontrada en las respuestas humanas.
   • Judgmental Olmo emergió como el modelo superior, logrando la menor Distancia de Wasserstein en las tres métricas (equidad, satisfacción y consenso) y replicando la varianza encontrada en las respuestas humanas.

3. Flujo de Trabajo Dinámico de GRS:

   • El flujo de trabajo genera recomendaciones para un grupo utilizando seis estrategias distintas basadas en la elección social: Utilitario Aditivo (ADD), Votación por Aprobación (APP), Equidad (FAI), Menor Descontento (LMS), Mayoría (MAJ) y Mayor Placer (MPL).
   • Para cada resultado potencial, el LLM ajustado genera múltiples evaluaciones (simulando un comité de cinco evaluadores) para predecir la equidad, la satisfacción y el consenso.
   • El sistema promedia estas puntuaciones y selecciona dinámicamente la estrategia de agregación que maximiza la evaluación de apariencia humana para esa configuración de grupo específica.

4. Validación mediante Estudio de Usuario:

   • Se realizó un estudio de usuario ($n=284$) para comparar la selección dinámica basada en LLM frente a las seis estrategias estáticas.
   • El estudio utilizó un ANOVA de diseño mixto con la configuración del grupo (uniforme, divergente, minoría, coalición) como factor intrasujeto y la estrategia de agregación como factor entre sujetos.

Contribuciones Clave

• Conjunto de Datos de Razonamiento Destilado: Creación de un conjunto de datos fundamentado en evaluaciones humanas de equidad, satisfacción y consenso, aumentado con razonamiento sintético generado por DeepSeek-V3.1.
• Modelos de Juicio (Judgmental Models): Introducción de "Judgmental Llama" y "Judgmental Olmo", modelos específicamente ajustados para simular evaluaciones de grupo y alinearse con las distribuciones de la verdad fundamental humana.
• Flujo de Trabajo Dinámico: Desarrollo de un flujo de trabajo de GRS de extremo a extremo que emplea estos modelos para seleccionar dinámicamente estrategias de agregación basadas en evaluaciones humanas predichas en lugar de reglas estáticas.
• Validación Empírica: Un estudio de usuario que demuestra que el enfoque dinámico supera a los baselines estáticos en percepción de equidad y consenso, observándose interacciones significativas según la configuración del grupo.

Resultos

• Alineación del Modelo: El ajuste fino redujo significamente la Distancia de Wasserstein entre las salidas del modelo y la verdad fundamental humana. Judgmental Olmo logró la mejor alineación (WD: 0.70 para equidad, 0.68 para satisfacción, 0.82 para consenso) en comparación con los modelos base, que exhibían distancias altas y distribuciones de salida estrechas.
• Desempeño en el Estudio de Usuario: La selección dinámica basada en LLM alcanzó las puntuaciones medias más altas para equidad percibida (0.82) y consenso percibido (0.81), y la segunda más alta para satisfacción (0.68), superando a todas las estrategias estáticas (ADD, APP, FAI, LMS, MAJ, MPL).
• Efectos de Interacción: El análisis estadístico reveló efectos de interacción significativos entre la configuración del grupo y la estrategia de agregación ($p < .001$). El método dinámico fue particularmente efectivo en escenarios complejos:
  • En grupos de coalición, el LLM superó significativamente a las estrategias APP y ADD en cuanto a equidad y consenso.
  • En grupos de minoría, la selección del LLM proporcionó una satisfacción significativamente mayor que las estrategias MAJ y MPL.
  • El sistema identificó correctamente que "Mayor Placer" (MPL) era óptimo solo para grupos uniformes, mientras que otras estrategias eran más adecuadas para grupos divergentes o de coalición.

Significancia y Reivindicaciones
El artículo sostiene que su metodología logra cerrar la brecha entre la agregación matemática estática y las percepciones subjetivas y matizadas de los grupos humanos. Al aprovechar los LLM ajustados sobre la verdad fundamental humana, el sistema puede adaptar las estrategias de agregación a las distribuciones de preferencia intra-grupo específicas (por ejemplo, manejar el disenso en grupos de coalición frente al consenso en grupos uniformes).

Los autores afirman que este enfoque ofrece una alternativa escalable y en tiempo real a los estudios de usuarios tradicionales para evaluar las recomendaciones de grupo. Los hallazgos apoyan la hipótesis de que adaptar dinámicamente las estrategias de agregación basándose en juicios generados por LLM con apariencia humana conduce a recomendaciones que son percibidas como más equitativas y consensuadas que aquellas producidas por estrategias fijas y estáticas. El trabajo destaca que la calidad de los datos de ajuste fino es esencial para alinear los LLM con el juicio humano, ya que los modelos base por sí solos no logran capturar el matiz y la diversidad necesarios de las respuestas humanas.