lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

Resumen Técnico: SemEval-2026 Tarea 1 (MWAHAHA)

Declaración del Problema
El artículo aborda la persistente dificultad de la generación computacional de humor, la cual surge de dos desafíos primarios: la subjetividad inherente de lo que es "gracioso" y la tendencia de los Modelos de Lenguaje Extensos (LLMs) a memorizar y repetir plantillas de alta frecuencia en lugar de generar contenido novedoso. El humor depende de la audiencia, variando significamente según la cultura, la demografía y el contexto, lo que conduce a una supervisión ruidosa donde el acuerdo entre anotadores es a menudo bajo (por ejemplo, $\kappa$ de Fleiss $\approx 0.49$ para datos relacionados con juegos de palabras). Además, la generación sin restricciones suele resultar en un colapso de modo, donde los modelos recurren a un conjunto pequeño de chistes familiares. La SemEval-2026 Tarea 1 (MWAHAHA) se dirige específicamente a la generación de humor con restricciones (por ejemplo, condicionada a titulares o palabras específicas) a través del inglés, español y chino, evaluando los sistemas mediante juicios de preferencia humana en un entorno de tipo arena. Los autores argumentan que, para las tareas con restricciones, el cuello de botella no es la generación bruta, sino la selección fiable del candidato óptimo para una audiencia objetivo.

Metodología
Los autores proponen un flujo de trabajo de dos etapas de "generar muchos $\rightarrow$ seleccionar el mejor", tratando la generación de humor como un problema de maximización de la diversidad seguido de un problema de aprendizaje de preferencias.

1. Generación de Candidatos:

   • Estrategia: Un enfoque de prompting de múltiples pasos inspirado en técnicas de lluvia de ideas: generar asociaciones, expandirlas y fusionarlas en chistes finales.
   • Diversidad y Restricciones: Se utiliza un ensamble de modelos (Claude-Sonnet-4, Claude-Ops-4.5 y GPT-5) con una temperatura de 1.0. Un truco de "muestreo centrado en la cola" extrae candidatos de regiones de baja probabilidad para aumentar la novedad.
   • Filtrado: Se generan 50 candidatos por instancia. Las restricciones estrictas (inclusión de palabras clave, longitud) se aplican de forma determinista. Los duplicados cercanos se eliminan mediante similitud de embeddings, reteniendo solo el centroide de cada clúster.

2. Modelado de Preferencias y Selección:

   • "Base de Humor" Interpretable: En lugar de depender únicamente de embeddings de texto bruto, los autores construyen una base de características compacta e interpretable (17 características en la ejecución final). Esta se deriva mediante el uso de prompts para que un LLM genere "pistas de diferencia" entre pares de chistes, incrustando estas pistas, agrupándolas (DP-means) y realizando una deduplicación semántica.
   • Extracción de Características: La base se utiliza para puntuar chistes en dos modos:
     • Puntual (Pointwise): Puntuar un solo chiste frente a las reglas.
     • Por pares (Pairwise): Comparar dos chistes para determinar cuál se alinea mejor con reglas específicas.
   • Entrenamiento del Modelo: Se entrenan predictores de preferencia ligeros utilizando L1 (LASSO) para la selección de características y regresión regularizada con L2 para la estabilidad. Los autores priorizan la regresión basada en pares como el enfoque principal, ya que produce una mayor estabilidad en el ranking global a pesar de tener costos computacionales más altos ($\Theta(n^2)$ frente a $\Theta(n)$). Emplean optimizaciones como priorizar comparaciones entre componentes desconectados y candidatos disímiles para reducir el número de evaluaciones requeridas a $\Theta(n \log n)$.
   • Ranking Global: Los rankings finales se agregan utilizando modelos de Bradley-Terry-Luce y procedimientos de estilo Elo a través del toolkit Evalica.

Contribuciones Clave

• Liberación de Datos de Preferencia: La liberación de $\sim$2.5K juicios de pares humanos recolectados a través del prototipo "Humor Arena", junto con los conjuntos de datos existentes basados en Reddit y ScaleAI.
• Enfoque de Prioridad en la Preferencia: Una formalización de la generación de humor con restricciones como un problema de ranking impulsado por decisiones de pares repetidas, argumentando que esto proporciona señales de aprendizaje más estables que la puntuación absoluta.
• Pipeline Interpretable: Un método para convertir comparaciones etiquetadas en una base de características compacta e interpretable, permitiendo el entrenamiento de modelos de preferencia ligeros e interpretables.
• Implementación del Sistema: El sistema "lmfaoooo", que integra el flujo de trabajo de generación y selección, con todos los prompts, pools de candidatos y artefactos liberados públicamente.

Resultos

• Desempeño Intra-Dataset: En tres conjuntos de datos (Reddit, ScaleAI y Humor Arena), los modelos de características basados en pares superaron consistentemente tanto a los baselines puntuales como a los baselines de "NoBasis" (juicio directo de LLM). Por ejemplo, en el conjunto de datos Humor Arena, el modelo por pares alcanzó un 77% de precisión en comparación con el 45% del modelo puntual y el 37% del modelo NoBasis.
• Transferencia Cross-Domain: Los modelos por pares demostraron capacidades de transferencia más fuertes que los baselines puntuales. Aunque la transferencia fue parcial y asimétrica (indicando componentes de humor tanto universales como específicos de la comunidad), los modelos por pares mantuvieron una mayor precisión en configuraciones de prueba fuera de la diagonal.
• Desempeño en SemEval-2026 Tarea 1: El sistema obtuvo el primer lugar en las subtareas de inglés y chino, y el segundo lugar en la subtarea de español.
  • ELO Inglés: 1041 (95% CI [1009, 1064])
  • ELO Chino: 1081 (95% CI [1031, 1127])
  • ELO Español: 1091 (95% CI [1053, 1121])

Significancia y Reivindicaciones
El artículo postula que el futuro de la generación de humor depende menos de mejorar las capacidades de generación de texto bruto —que los LLMs modernos ya poseen en abundancia— y más de mejorar la evaluación y el modelado de preferencias. Los autores afirman que sus resultados respaldan una visión de "prioridad en la preferencia": generar candidatos diversos es cada vez más fácil, pero identificar de manera fiable qué candidato se alinea con una audiencia específica sigue siendo la dificultad central. El uso de una base de características interpretable permite un análisis de errores dirigido, revelando que mientras algunas características del humor (por ejemplo, remates claros) son seleccionadas universalmente, otras son específicas de la comunidad. Los autores concluyen que el progreso en este campo dependerá cada vez más de un modelado de preferencias robusto en lugar de mejoras en la arquitectura de generación por sí solas.