💬 NLP

Aligning LLM Uncertainty with Human Disagreement in Subjectivity Analysis

Este artículo propone el marco de Percepción de Desacuerdo y Alineación de Incertidumbre (DPUA), un enfoque de dos fases que mejora el análisis de subjetividad de los modelos de lenguaje grandes al modelar explícitamente el desacuerdo humano para alinear la incertidumbre del modelo con las variaciones del juicio en el mundo real, reduciendo así la sobreconfianza y mejorando la generalización.

Autores originales: Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Publicado 2026-05-14

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Junyu Lu, Deyi Ji, Xuanyi Liu, Lanyun Zhu, Bo Xu, Liang Yang, Xian-Sheng Hua, Hongfei Lin

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema Central: El "Experto Sobrconfiado"

Imagina que le pides a un robot superinteligente (un Modelo de Lenguaje Grande, o LLM) que juzgue un chiste.

La Vieja Forma del Robot: El robot fue entrenado observando miles de ejemplos donde los humanos votaban si algo era "gracioso" o "no gracioso". Si el 90% de los humanos decía "gracioso", el robot aprendía que era 100% gracioso. Si el 51% decía "gracioso", el robot aún aprendía que era "gracioso", pero actuaba como si tuviera un 100% de certeza.
El Defecto: En tareas subjetivas (como detectar sarcasmo, ofensa o sentimiento), los humanos a menudo discrepan. Una persona puede encontrar un comentario ofensivo, mientras que otra lo encuentra gracioso. Cuando obligamos al robot a elegir una sola respuesta, ignora el hecho de que los humanos están confundidos. ¿El resultado? El robot se vuelve sobrconfiado. Da una respuesta definitiva sobre una pregunta complicada, incluso cuando la pregunta en sí misma es ambigua. Es como un pronosticador del tiempo diciendo "Lloverá definitivamente" cuando el cielo es realmente una mezcla de nubes y sol.

La Solución: DPUA (El "Detective Humilde")

Los autores proponen un nuevo marco llamado DPUA (Percepción de Desacuerdo y Alineación de Incertidumbre). En lugar de solo enseñarle al robot cuál es la respuesta, le enseñan cuánta inseguridad debería tener cuando los humanos discrepan.

Piensa en DPUA como entrenar a un detective en dos fases específicas:

Fase 1: Aprender a Detectar la "Niebla" (Percepción de Desacuerdo)

En esta fase, el robot aprende a reconocer cuándo una situación es "nebulosa" (ambigua).

La Analogía: Imagina a un profesor calificando ensayos. Para ensayos claros (alto acuerdo), el profesor da una A directa. Pero para ensayos donde la intención del estudiante es poco clara (bajo acuerdo), el profesor no solo da una calificación; escribe una nota diciendo: "Esto es complicado. Algunos podrían verlo como X, otros como Y".
Cómo funciona: El robot se entrena para prestar especial atención a estos casos "nebulosos". Aprende a generar una "razón" (una explicación) que admita: "Veo por qué algunos piensan que esto es ofensivo, pero también veo por qué otros podrían no pensarlo". Deja de intentar forzar una única respuesta rígida sobre datos desordenados.

Fase 2: Ajustar el "Dial de Confianza" (Alineación de Incertidumbre)

En esta fase, el robot aprende a ajustar su "dial de confianza" para coincidir con la magnitud real del desacuerdo humano.

La Analogía: Imagina una escala que mide cuán seguro estás.
- Si 100 personas coinciden en que una afirmación es verdadera, el robot gira el dial al 100%.
- Si solo 51 personas coinciden (y 49 discrepan), el robot baja el dial al 55%.
- Si los humanos están divididos 50/50, el robot gira el dial al 50% (el mínimo posible), diciendo efectivamente: "No tengo idea, y eso está bien".
Cómo funciona: Los investigadores utilizan un sistema de recompensas especial (como una puntuación de videojuego) para castigar al robot si actúa con demasiada confianza cuando los humanos están confundidos, y recompensarlo si actúa con cautela cuando los datos son desordenados.

¿Qué Descubrieron?

El artículo probó esto en tres tareas: detectar sarcasmo, identificar lenguaje ofensivo y analizar el sentimiento (positivo/negativo).

No perdió su inteligencia: El robot no empeoró en dar la respuesta correcta. De hecho, mantuvo su misma capacidad para predecir la etiqueta.
Se volvió más honesto: El robot dejó de fingir seguridad cuando no debía. En casos "límite" complicados (donde los humanos discrepan), la puntuación de confianza del robot bajó para coincidir con la confusión humana.
Se generalizó mejor: Cuando el robot fue probado en nuevos tipos de problemas subjetivos que nunca había visto, los manejó mejor que los modelos antiguos. Aprendió una habilidad general de "saber lo que no sabe".

La Conclusión

El artículo argumenta que, para tareas subjetivas, la incertidumbre no es un error; es una característica.

Al enseñar a la IA a expresar incertidumbre de una manera que refleje el desacuerdo humano, obtenemos modelos más confiables. En lugar de un robot que da con confianza la respuesta incorrecta en un chiste complicado, obtenemos un robot que dice: "Esto es probablemente un chiste, pero puedo ver por qué algunas personas podrían ofenderse, así que solo tengo un 60% de certeza". Esto hace que la IA sea un mejor socio para los humanos en la toma de decisiones complejas y matizadas.

Resumen Técnico: Alineación de la Incertidumbre de los LLM con el Desacuerdo Humano en el Análisis de Subjetividad

Enunciado del Problema
Los actuales Modelos de Lenguaje Grandes (LLM) para el análisis de subjetividad (por ejemplo, análisis de sentimientos, detección de sarcasmo, detección de ofensividad) suelen entrenarse con etiquetas agregadas derivadas de votaciones mayoritarias. Este paradigma comprime las variaciones intrínsecas del juicio humano en una única señal de supervisión. En consecuencia, pasa por alto la incertidumbre inherente a las muestras con bajo acuerdo, induciendo a menudo predicciones excesivamente seguras y límites de decisión rígidos. Esta limitación socava la fiabilidad y la generalización del modelo en configuraciones subjetivas complejas donde los límites semánticos son difusos y las interpretaciones humanas varían. El problema central abordado es cómo permitir que los modelos no solo predigan etiquetas, sino que también expresen incertidumbre que refleje con precisión la distribución del desacuerdo humano.

Metodología: El Marco DPUA
Los autores proponen un marco de dos fases denominado Percepción de Desacuerdo y Alineación de Incertidumbre (DPUA) para operacionalizar el análisis de subjetividad consciente de la incertidumbre. El marco requiere que los modelos realicen conjuntamente la predicción de etiquetas, la generación de fundamentos y la estimación de confianza.

Fase 1: Percepción de Desacuerdo (Aprendizaje Desacoplado Adaptativo)
- Objetivo: Mejorar la sensibilidad del modelo a las señales de desacuerdo mientras se preserva el rendimiento de la tarea.
- Mecanismo: Los autores introducen una estrategia de aprendizaje desacoplado adaptativo durante el Ajuste Fino Supervisado (SFT). El objetivo de entrenamiento se repondera en función de la puntuación de acuerdo humano ( $C^h_i$ $C_{i}^{h}$ ) de cada muestra.
  - Muestras de alto acuerdo: Reciben una supervisión más fuerte para la predicción de etiquetas para garantizar patrones de decisión estables.
  - Muestras de bajo acuerdo: Reciben un peso aumentado para la generación de fundamentos para fomentar que el modelo aprenda indicios y evidencias relacionados con el desacuerdo.
- Salida: El modelo aprende a generar fundamentos que identifican tanto las justificaciones de la etiqueta como las posibles fuentes de ambigüedad o desacuerdo.
Fase 2: Alineación de Incertidumbre (Optimización basada en GRPO)
- Objetivo: Refinar el razonamiento consciente de la incertidumbre y alinear la expresión de confianza del modelo con la distribución del desacuerdo humano.
- Mecanismo: Los autores emplean Optimización de Política Relativa por Grupos (GRPO). Esta fase optimiza el modelo utilizando dos componentes de recompensa específicos:
  - Recompensa de Razonamiento Consciente de la Incertidumbre: Evalúa la calidad del fundamento generado (justificación de la etiqueta e identificación de indicios de desacuerdo) utilizando un modelo juez (GPT-4o-mini). La ponderación de estos componentes se ajusta dinámicamente en función de la puntuación de acuerdo humano.
  - Recompensa de Calibración de Incertidumbre: Mide la discrepancia entre la distribución de confianza predicha por el modelo y la distribución empírica del desacuerdo humano utilizando el Error Absoluto Medio (MAE). Esta recompensa fomenta que el modelo sea menos seguro en muestras de bajo acuerdo y más seguro en las de alto acuerdo.
- Optimización: El modelo se actualiza maximizando la ventaja relativa por grupo de las salidas muestreadas, fomentando un razonamiento que se alinea con los patrones de incertidumbre humana.

Contribuciones Clave

Cambio de Paradigma: El artículo aboga por un "análisis de subjetividad consciente de la incertidumbre", avanzando más allá del ajuste a una única etiqueta agregada hacia un escenario donde los modelos deben identificar indicios de desacuerdo y expresar incertidumbre calibrada.
Propuesta de Marco: La introducción de DPUA, un marco de dos fases que modela conjuntamente la predicción de etiquetas, la generación de fundamentos y la estimación de confianza.
Validación Empírica: Evaluación sistemática en tres tareas de análisis de subjetividad (detección de sarcasmo, análisis de sentimientos y detección de ofensividad) que demuestra que DPUA preserva el rendimiento central de la tarea mientras mejora significativamente la alineación entre la incertidumbre del modelo y el desacuerdo humano.

Resultados Experimentales
Los experimentos se realizaron en tres conjuntos de datos: Corpus de Sarcasmo Conversacional (CSC), GoEmotions (GOE) y MD-Agreement (MD), utilizando los cimientos Qwen-3 y LLaMa-3.1.

Alineación de Incertidumbre: DPUA superó significativamente a las líneas base (zero-shot, few-shot, SFT estándar y GRPO vanilla) en las métricas de alineación de incertidumbre. Redujo el Error Absoluto Medio (MAE) entre las distribuciones del modelo y la humana en aproximadamente un 5,94% a un 8,31% y mejoró los coeficientes de correlación de Pearson en un 5,13% a un 6,06% a través de los cimientos.
Rendimiento de la Tarea: A diferencia de las líneas base conscientes de la incertidumbre estándar que a veces sacrificaban la precisión, DPUA mantuvo un rendimiento competitivo en la predicción de etiquetas, mostrando ligeras mejoras en las puntuaciones de Exactitud y F1 sobre líneas base sólidas.
Mitigación de la Excesiva Seguridad: La visualización de las distribuciones de confianza mostró que DPUA mitiga la excesiva seguridad en muestras de frontera, asignando valores de probabilidad intermedios a casos de bajo acuerdo donde el SFT estándar tiende a ser excesivamente seguro.
Generalización: En configuraciones de transferencia fuera de distribución (OOD) (por ejemplo, entrenamiento en GOE y prueba en CSC), DPUA demostró una superior generalización, logrando los mejores resultados o resultados competitivos tanto en la predicción de etiquetas como en la alineación de incertidumbre, lo que sugiere que los patrones conscientes de la incertidumbre aprendidos son transferibles.
Explicabilidad: Los estudios de caso y las evaluaciones de fundamentos indicaron que DPUA genera fundamentos más informativos y sólidos que reflejan explícitamente la ambigüedad y el posible desacuerdo humano.

Significado y Afirmaciones
El artículo afirma que modelar el desacuerdo humano como una fuente intrínseca de incertidumbre es crucial para desarrollar LLMs confiables en escenarios de toma de decisiones subjetivas. Al alinear la confianza del modelo con la distribución real del desacuerdo humano, DPUA aborda el problema de la excesiva seguridad en muestras de frontera, que es un modo de fallo común en los actuales sistemas de análisis de subjetividad. Los autores afirman que su enfoque proporciona una base más fiable para tareas subjetivas al garantizar que los modelos expresen incertidumbre de una manera consistente con la complejidad de la cognición humana, en lugar de forzar una falsa sensación de certeza a través de etiquetas agregadas. El trabajo destaca que la alineación de la incertidumbre es un desafío distinto de la predicción de etiquetas y requiere estrategias arquitectónicas y de entrenamiento específicas para lograrlo eficazmente.