Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

1. Problema y Motivación

El humor es una dimensión profundamente cultural y social de la comunicación humana, pero sigue siendo un área poco explorada en la alineación de los Modelos de Lenguaje Grande (LLM). A diferencia de tareas estructuradas como la codificación o la escritura formal, el humor requiere integrar conocimiento del mundo, pragmática, contexto cultural y la capacidad de violar y resolver expectativas.

El problema central que aborda el estudio es determinar si los LLMs de vanguardia pueden alinear sus juicios de humor con los humanos. Específicamente, se investiga si los modelos entienden genuinamente el humor o si sus elecciones son meros artefactos estructurales de su entrenamiento y procesos de inferencia.

2. Metodología

Los autores diseñaron un marco de evaluación controlado basado en el juego de cartas "Cards Against Humanity" (CAH).

• Datos: Se utilizó el conjunto de datos "CAH Lab Gameplay", que contiene 9,894 rondas de juego reales donde jugadores humanos seleccionaron la carta blanca (respuesta) que consideraron más graciosa frente a una carta negra (prompts).
• Modelos Evaluados: Cinco modelos de lenguaje de vanguardia: GPT-5.2, Gemini 3 Flash, Claude Opus 4.5, Grok 4 y DeepSeek-V3.2.
• Configuración Experimental:
  • Cada ronda se presentó a los cinco modelos como una tarea de selección de humor: dado un prompt (carta negra) y 10 candidatos (cartas blancas), el modelo debe elegir la más graciosa.
  • Se realizaron dos réplicas por ronda con el orden de las cartas blancas aleatorizado en cada una para mitigar el sesgo de posición.
  • Se filtraron rondas con tiempos de respuesta extremos (<10s o >120s) para asegurar deliberación humana.
• Métricas de Análisis:
  1. Alineación Humano-LLM: Tasa de precisión (¿el modelo eligió la misma carta que el humano?).
  2. Acuerdo Inter-Modelo: Frecuencia con la que dos modelos distintos eligen la misma respuesta.
  3. Consistencia Intra-Modelo: Frecuencia con la que un mismo modelo elige la misma respuesta en réplicas con orden diferente.
  4. Análisis de Sesgos: Evaluación de sesgo de posición (preferencia por índices específicos de la lista) y sesgo de tema (preferencia por categorías temáticas específicas).

3. Contribuciones Clave

1. Marco de Evaluación: Presentación de un framework donde cinco modelos de vanguardia juegan las mismas rondas de CAH que los humanos, permitiendo una comparación directa.
2. Hallazgo de Alineación Modesta: Demostración de que, aunque los LLM superan la línea base aleatoria, su alineación con las preferencias humanas es modesta (13-18%).
3. Descubrimiento de "Humor LLM": Evidencia de que los modelos están mucho más de acuerdo entre sí que con los humanos, sugiriendo la emergencia de un perfil de humor compartido pero desalineado de la realidad humana.
4. Explicación de Mecanismos: Identificación de que el acuerdo inter-modelo se explica parcialmente por sesgos sistemáticos de posición y preferencias de contenido específicas, cuestionando si el juicio de humor refleja comprensión genuina o artefactos estructurales.

4. Resultados Principales

• Alineación Humano-LLM:

  • La precisión osciló entre 13% y 18% para todos los modelos.
  • Claude mostró la mayor alineación general, seguido por Grok y Gemini. GPT y DeepSeek tuvieron un rendimiento ligeramente inferior.
  • Estos resultados superan la línea base aleatoria (10%) y las líneas base de popularidad (19.11%), pero siguen siendo bajos, indicando que la tarea está lejos de resolverse.
  • No se encontraron diferencias significativas en la alineación entre diferentes grupos sociodemográficos (género, ideología política, etc.).

• Acuerdo Inter-Modelo vs. Consistencia:

  • Consistencia Intra-Modelo: Los modelos son muy consistentes consigo mismos (entre 49.5% y 63.3% de acuerdo entre réplicas).
  • Acuerdo Inter-Modelo: Los modelos coinciden entre sí en un rango de 21.4% a 44.9%.
  • Hallazgo Crítico: Los modelos coinciden entre sí significativamente más a menudo de lo que coinciden con los humanos. Esto sugiere que han convergido hacia una noción compartida de humor que difiere de la humana.

• Análisis de Sesgos:

  • Sesgo de Posición: Todos los modelos mostraron desviaciones significativas de una distribución uniforme. Por ejemplo, DeepSeek mostró una fuerte concentración en la posición 3, mientras que Grok favorecía la posición 10.
  • Sesgo de Tema: Los LLMs tienden a seleccionar más cartas sobre humor corporal y temas sexuales (31-40% y 29-38% respectivamente) en comparación con los humanos (21% y 24%). Por el contrario, evitan temas de política/sociedad e identidad/demografía en menor medida que los humanos.
  • Modelos Sustitutos: Se ajustaron modelos logísticos condicionales usando solo la posición y el tema de las cartas para predecir las elecciones de los LLM. Estos modelos "sustitutos" lograron predecir correctamente las elecciones en hasta el 36% de las rondas (para Grok y DeepSeek), lo que indica que una parte sustancial de su comportamiento se debe a estos sesgos superficiales en lugar de un razonamiento pragmático profundo.

5. Significado y Conclusión

El estudio revela que, aunque los LLMs han avanzado en tareas creativas, su capacidad para alinear el humor con los humanos sigue siendo limitada. El hallazgo más preocupante es la convergencia de los modelos hacia un "humor de máquina": un perfil de preferencias compartido, impulsado por sesgos estructurales (posición) y temáticos (humor físico/sexual), que es sistemáticamente diferente al sentido del humor humano.

Esto plantea interrogantes fundamentales sobre la naturaleza de la alineación en IA:

1. ¿Reflejan los modelos una comprensión genuina del contexto y la ironía, o simplemente optimizan patrones superficiales aprendidos durante el entrenamiento y el RLHF (Aprendizaje por Refuerzo con Retroalimentación Humana)?
2. La alineación actual puede estar sesgada hacia la seguridad y la evitación de temas transgresores, lo que podría explicar por qué los modelos evitan ciertos temas políticos o de identidad que los humanos encuentran graciosos en el contexto de CAH.

El trabajo sugiere que el humor es una frontera crítica para la alineación de la IA y que las métricas actuales de rendimiento pueden estar ocultando desviaciones profundas en la "visión del mundo" de los modelos.