Investigating Counterfactual Unfairness in LLMs towards Identities through Humor

Resumen Técnico: Injusticia Contrafáctica en LLMs a través del Humor

1. Planteamiento del Problema

Los Grandes Modelos de Lenguaje (LLM) entrenados en corpus web a gran escala absorben sistemáticamente sesgos sociales y culturales. Aunque se han realizado avances en la alineación de seguridad, estos modelos a menudo fallan en el razonamiento social contextual, aplicando filtros de seguridad rígidos basados en etiquetas demográficas en lugar de analizar la intención real o el contexto comunicativo.

El problema central abordado es la injusticia contrafáctica: ¿cambian las respuestas del modelo si se intercambian las identidades del hablante y el oyente, manteniendo constante el contenido del chiste? El humor es un "lente" único para detectar estos sesgos porque depende de matices sociales, jerarquías de poder y la distinción entre lo aceptable y lo inapropiado. Los autores argumentan que los modelos actuales no solo reflejan estereotipos, sino que codifican jerarquías sociales fijas, penalizando a hablantes privilegiados y sobre-protegiendo (o estereotipando) a grupos marginados.

2. Metodología

El estudio propone un marco experimental basado en el intercambio de roles (counterfactual swapping) para aislar el efecto de la identidad. Se evaluaron tres tareas complementarias a través de cinco modelos de vanguardia (Claude 3.5 Haiku, GPT-4o, DeepSeek-Reasoner, Gemini 2.5 Flash-Lite y Grok 4).

A. Construcción de Datos:

• Humor Agnóstico a la Identidad: Se filtraron 400 chistes sin referencias a identidades específicas.
• Humor de Desprecio Específico: Se curó un conjunto de datos de 737 chistes de desprecio (disparagement humor) de corpus existentes, asegurando que cada chiste pudiera asignarse a cualquier par hablante-oyente sin confusores contextuales.
• 33 Identidades: Se cubrieron 10 dimensiones (raza, religión, discapacidad, riqueza, profesión, etc.).

B. Las Tres Tareas de Evaluación:

1. Tarea 1: Generación de Humor Condicionada (Refusal Behavior)

   • Objetivo: Medir si el modelo se niega a generar un chiste dependiendo de quién habla y a quién va dirigido.
   • Métrica: Tasa de Rechazo Asimétrica (ARR). Compara la tasa de rechazo cuando la identidad A ataca a B ($RR(A \to B)$) versus cuando B ataca a A ($RR(B \to A)$).
   • Hallazgo: Se observó una asimetría significativa donde los hablantes privilegiados que se dirigen a grupos marginados son rechazados mucho más a menudo que la inversa.

2. Tarea 2: Inferencia de Intención del Hablante

   • Objetivo: Determinar si el modelo atribuye diferentes intenciones (maliciosas vs. benignas) al mismo chiste según la identidad de los participantes.
   • Métrica: Sesgo Basado en Diferencias ($B_{diff}$). Calcula la diferencia en la puntuación de valencia (malicioso = +1, benigno = -1) entre direcciones opuestas.
   • Hallazgo: Los modelos atribuyen sistemáticamente mayor malicia a hablantes privilegiados, incluso cuando el chiste no se dirige a ellos ni al oyente (condición de objetivo no relacionado).

3. Tarea 3: Predicción de Impacto Relacional y Social

   • Objetivo: Evaluar cómo el modelo simula la reacción de un oyente ante un chiste, considerando la relación (jefes, subordinados, amigos) y la complejidad interseccional.
   • Métricas: Puntuación (1-5) en Aceptación del Humor, Sensibilidad Social y Consistencia del Personaje.
   • Hallazgo: Los hablantes privilegiados son juzgados más estrictamente, especialmente en contextos profesionales jerárquicos.

3. Contribuciones Clave

• Marco de Injusticia Contrafáctica en Humor: Aplicación rigurosa de la equidad contrafáctica al contexto conversacional del humor, demostrando que los sesgos persisten y se amplifican cuando se introducen señales de identidad.
• Métricas Interpretativas: Introducción de métricas como la Tasa de Rechazo Asimétrica (ARR) y el Efecto del Hablante (SE) para cuantificar desviaciones direccionales en el comportamiento de los modelos.
• Análisis de Interseccionalidad: Demostración de que la complejidad de la identidad (perfiles de 10 dimensiones) amplifica el escrutinio en modelos conservadores, mientras que otros modelos la tratan como un matiz.
• Validación Robusta: Uso de múltiples modelos LLM como jueces, validación cruzada con Llama-3-70B y anotación humana para asegurar la fiabilidad de las evaluaciones de rechazo y sensibilidad.

4. Resultados Principales

Los experimentos revelaron patrones consistentes de disparidad relacional en todos los modelos evaluados:

• Rechazo Asimétrico (Tarea 1):

  • Los chistes de hablantes privilegiados dirigidos a grupos marginados fueron rechazados hasta un 67.5% más que la dirección inversa.
  • Ejemplo: Un hablante "Blanco" atacando a un "Negro" tiene una tasa de rechazo mucho mayor que un hablante "Negro" atacando a un "Blanco".
  • Los modelos internalizan una jerarquía social donde "golpear hacia abajo" (punching down) es inaceptable, pero "golpear hacia arriba" (punching up) es permitido, incluso si el contenido es idéntico.

• Atribución de Intención (Tarea 2):

  • Los hablantes privilegiados fueron juzgados como maliciosos un 64.7% más a menudo que sus contrapartes marginadas para el mismo contenido.
  • Amplificación de Sesgo: Curiosamente, el sesgo fue mayor cuando el chiste se dirigía a un grupo no relacionado con los participantes (ej. un blanco haciendo un chiste sobre chinos a un oyente negro) que cuando el chiste era agnóstico a la identidad. Esto indica que las señales de identidad del hablante/oyente anulan el contenido real.

• Impacto Social y Jerarquías (Tarea 3):

  • La aceptación del humor para hablantes privilegiados fue hasta 1.5 puntos más baja en una escala de 5 puntos en comparación con hablantes marginados.
  • Contexto Relacional: Las jerarquías profesionales (Jefe $\to$ Subordinado) amplificaron los juicios estrictos, mientras que las relaciones de amistad los atenuaron.
  • Interseccionalidad: Modelos como Claude y DeepSeek trataron los perfiles complejos como un "multiplicador de riesgo" (rechazo más estricto), mientras que GPT-4o y Gemini los trataron como un contexto enriquecedor.

5. Significado e Implicaciones

• Fallo en el Razónamiento Social: Los resultados sugieren que los LLM actuales no realizan un razonamiento social genuino y contextual. En su lugar, utilizan señales demográficas superficiales como proxies de daño, codificando estereotipos y jerarquías sociales fijas.
• El Dilema de la Seguridad: Existe una tensión entre la "sensibilidad" (evitar daño) y el "estereotipo" (asumir intenciones negativas basadas en la identidad). Los modelos tienden a la hipercautela (over-refusal) con grupos privilegiados y a la sobregeneralización (asumir autodepreciación o benignidad) con grupos marginados.
• Hacia LLMs Justos: El artículo concluye que la equidad en los LLM no debe significar un tratamiento idéntico ciego al contexto, sino un razonamiento consciente del contexto.
  • Se necesita un modelo que evalúe el acto comunicativo completo en lugar de reaccionar mecánicamente a etiquetas.
  • Se debe priorizar la búsqueda de información y la incertidumbre ("no estoy seguro") sobre juicios confiables pero sesgados cuando la evidencia es ambigua.
  • Las futuras alineaciones de seguridad deben moverse más allá de los filtros de seguridad estáticos hacia evaluaciones que consideren las dinámicas relacionales y el poder social.

En resumen, el estudio demuestra que la "seguridad" actual en los LLM a menudo se logra mediante la codificación de prejuicios sociales y jerarquías de poder, lo que resulta en una injusticia contrafáctica donde la identidad del hablante determina el juicio moral del modelo más que el contenido real de su discurso.