💬 NLP

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

Este artículo presenta HOMER, un novedoso marco de LLM multirrol impulsado por la teoría del humor que aprovecha las oposiciones de guion, la imaginación jerárquica con aumento de recuperación y la generación de subtítulos dirigidos para superar significativamente a los métodos actuales de vanguardia en la creación de subtítulos de imágenes multimodales divertidos.

Autores originales: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Publicado 2026-08-04

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot cómo contar un chiste. Podrías pensar: "¡Solo dale una imagen y pídele que sea divertido!". Pero aquí está el truco: para una computadora, "divertido" es un concepto escurridizo y confuso. No se trata solo de describir lo que ves; se trata de entender las reglas ocultas del mundo, detectar cuándo esas reglas se rompen y luego retorcer tu cerebro para encontrar la sorpresa en esa ruptura. Este es el corazón de la generación de humor multimodal, un campo donde los científicos intentan ayudar a la Inteligencia Artificial (IA) a entender la diferencia entre una taza de café normal y una taza de café del tamaño de una bañera.

Para lograr esto, los investigadores de este artículo se apoyan en una idea clásica de la teoría del humor llamada Oposición de Guiones (Script Opposition). Piensa en un "guion" como un guion de una película mental que todos conocemos de memoria, como "ir a una reunión" o "beber café". El humor suele ocurrir cuando dos de estos guiones chocan entre sí de una manera extraña, como una reunión de negocios seria donde todos están bebiendo de tazas gigantes. El artículo sugiere que, para que una computadora sea verdaderamente divertida, no puede simplemente adivinar; necesita un plan estructurado para encontrar estos choques, imaginar conexiones salvajes y luego escribir un remate que lo una todo.

El artículo presenta un nuevo sistema llamado HOMER (Marco de colaboración de LLM multirrol impulsado por la teoría del humor con recuperación de humor). En lugar de pedirle a una sola IA que "sea divertida" y esperar lo mejor, HOMER actúa como un pequeño equipo especializado en escritura de comedia. Divide el trabajo en tres roles distintos, cada uno interpretado por un agente de IA diferente que trabaja en conjunto:

El Detective de Conflictos (Extractor de guiones en conflicto): Este agente observa la imagen y la descripción de la escena para encontrar el "fallo" en la realidad. Si la imagen muestra una sala de reuniones con sillas normales pero una taza de café gigante y sobredimensionada, este agente detecta el choque entre la "oficina normal" y la "taza gigante". Identifica la contradicción central que hace posible el chiste.
El Imaginador Salvaje (Imaginador Jerárquico): Una vez encontrado el conflicto, este agente se lanza a una búsqueda creativa. Toma el objeto extraño (la taza gigante) y construye un árbol de asociaciones. Podría pensar: Taza → Café → Leche → Vaca. Pero no se limita a adivinar; consulta una base de datos masiva de chistes humanos reales para ver qué conexiones realmente funcionan como divertidas. Poda las ideas aburridas y conserva aquellas que tienen más "potencial humorístico".
El Escritor de Remates (Generador de Subtítulos): Finalmente, este agente toma el conflicto, el árbol de imaginación salvaje y la descripción de la escena para escribir el subtítulo real. Combina todas las pistas en una oración corta y ocurrente que explica lo absurdo.

El artículo encuentra que este enfoque de equipo funciona significativamente mejor que dejar que una sola IA intente hacerlo todo a la vez. Al ser probado en miles de subtítulos de caricaturas del mundo real de la revista New Yorker (una revista famosa conocida por sus dibujos divertidos), HOMER superó consistentemente a otros modelos de IA de primer nivel. De hecho, en promedio, los subtítulos de HOMER tuvieron un 7% más de probabilidad de ganar contra los subtítulos escritos por humanos en comparación con el siguiente mejor método.

Los autores argumentan en contra de la idea de que simplemente hacer que una IA "piense más duro" o "razone más" (como usar cadenas de lógica complejas paso a paso) sea suficiente para generar humor. Demuestran que, sin una guía específica sobre cómo funciona el humor (como buscar oposiciones de guiones) y sin una forma estructurada de explorar ideas creativas, la IA tiende a producir subtítulos que son lógicos pero no realmente divertidos. Al desglosar el proceso en estos pasos específicos y basados en la teoría, HOMER crea subtítulos que se sienten más originales y genuinamente amenos, demostrando que, a veces, para ser divertido, necesitas un poco de estructura y mucha imaginación.

Resumen Técnico: HOMER – Un Marco de Roles Múltiples Basado en Guiones de Conflicto para la Generación de Subtítulos Humorísticos

Definición del Problema

El artículo aborda el desafío de la generación de humor multimodal, específicamente la tarea de generar subtítulos divertidos para imágenes (por ejemplo, caricaturas). Aunque los Modelos de Lenguaje de Gran Escala (LLM) han demostrado capacidades de comprensión y razonamiento visual, suelen tener dificultades con la creatividad, la originalidad y el razonamiento lógico profundo requeridos para un humor genuino. Los enfoques existentes que dependen de un prompting genérico, la automejora mediante cadenas de razonamiento (por ejemplo, Chain-of-Thought) o el ajuste específico de tareas, tienden a capturar un lenguaje humorístico superficial en lugar de las estructuras lógicas subyacentes del humor. En consecuencia, estos modelos suelen producir subtítulos que son semánticamente precisos pero carecen de la calidad de "remate" (punchline), la interpretabilidad y la imaginación creativa necesarias para igualar el nivel humano de humor.

Metodología: Marco HOMER

Los autores proponen HOMER (Marco de Colaboración de LLM de Roles Múltiples Impulsado por la Teoría del Humor y Aumentado con Recuperación de Humor). El marco se fundamenta en la Teoría General del Humor Verbal (GTVH), que modela el humor a través de cinco recursos de conocimiento: oposición de guiones, situación, objetivo, estrategia narrativa y lenguaje. HOMER operacionaliza esta teoría a través de tres roles coordinados basados en LLM:

1. Extractor de Guiones en Conflicto

Este módulo analiza la imagen de entrada para derivar dos componentes críticos:

Descripción de la Situación ( $D$ ): Un trasfondo contextual detallado que incluye ubicación, personajes, expresiones y acciones.
Guiones en Conflicto ( $C$ ): El núcleo del mecanismo del humor. El extractor identifica pares de marcos semánticos (guiones) contrastantes o incongruentes dentro de la situación (por ejemplo, "tazas de café normales" frente a "tazas sobredimensionadas"). Esta oposición de guiones establece la lógica de violación de expectativas esencial para el humor.

2. Imaginador Jerárquico

Una vez establecido el fundamento del humor ( $D$ y $C$ ), este módulo identifica entidades clave como objetivos de humor y expande el espacio creativo mediante un enfoque de dos vertientes:

Imaginación de Patrón Profundo (Cadenas de Soporte): El LLM realiza asociaciones libres multivista (vistas locales y globales) para generar cadenas lógicas de entidades relacionadas (por ejemplo, tazas de café $\to$ leche $\to$ vaca). Estas cadenas forman el soporte de los "árboles de imaginación".
Imaginación de Patrón Amplio (Aumentada por Recuperación): Para evitar salidas repetitivas o limitadas, el marco recupera chistes relevantes de una base de datos curada de 335,570 chistes de una sola línea. Construye consultas basadas en las entidades de soporte y el contexto del humor.
HOMER-Pruning (Poda HOMER): Un mecanismo de puntuación filtra las entidades recuperadas para asegurar una imaginación de alta calidad. La puntuación $H(e, \varepsilon)$ $H (e, ε)$ combina tres factores:
1. Relevancia-Oposición ( $H_{rel}$ ): Equilibra la similitud semántica con la oposición conceptual (incongruencia) utilizando relaciones de WordNet.
2. Frecuencia de Humor ( $H_{freq}$ ): Prioriza entidades que aparecen frecuentemente en chistes relevantes.
3. Diversidad de POS ( $H_{div}$ ): Fomenta la ambigüedad léxica (por ejemplo, palabras con múltiples categorías gramaticales) para facilitar los juegos de palabras.

3. Generador de Subtítulos

El módulo final sintetiza la descripción de la situación, los guiones en conflicto y un camino seleccionado del árbol de imaginación. Construye un prompt $\Phi(C, D, P_i, \Omega)$ que incorpora los cinco recursos de conocimiento de la GTVH (incluyendo la estrategia narrativa y opciones de estilo lingüístico) para generar el subtítulo divertido final.

Contribuciones Clave

Mecanismo Impulsado por la Teoría: A diferencia de los métodos previos que dependen de heurísticas de razonamiento, HOMER modela explícitamente la generación de humor utilizando el marco GTVH, proporcionando un proceso interpretable y paso a paso desde la oposición de guiones hasta la generación del subtítulo.
Colaboración de Roles Múltiples: El marco descompone la tarea compleja en roles especializados (Extracción, Imaginación, Generación), permitiendo un control dirigido sobre la lógica y los materiales del humor.
Imaginación Aumentada por Recuperación: La introducción de un "imaginador jerárquico" que combina asociaciones profundas impulsadas por LLM con la recuperación de humor relevante de una gran base de datos de chistes expande significativamente el espacio creativo más allá del conocimiento intrínseco del modelo.
Puntuación Cuantitativa para el Humor: La propuesta de la función de puntuación $H(e, \varepsilon)$ proporciona un método con principios para filtrar y seleccionar asociaciones imaginativas basadas en relevancia, oposición, frecuencia y diversidad.

Resultados Experimentales

El marco fue evaluado en dos conjuntos de datos de referencia de caricaturas de New Yorker: Humor in AI y Electronic Sheep.

Desempeño: HOMER superó significativamente a las líneas base de vanguardia (incluyendo HumorousAI, CLoT, LoL y Phunny) y a las estrategias de razonamiento avanzado (CoT, Few-shot, Self-consistency).
- En el conjunto de datos Humor in AI (Grupo Top 10), HOMER alcanzó un pass@1 de 66.41%, una mejora de aproximadamente un 6.9% sobre la mejor línea base (HumorousAI con 62.11%).
- En el conjunto de datos Electronic Sheep (Grupo High-Humor), HOMER alcanzó un pass@1 de 75.53%, una mejora de aproximadamente un 12.1% sobre la mejor línea base.
Evaluación Humana: En un estudio con 12 evaluadores que calificaron los métodos, HOMER recibió la calificación media de humor más alta (3.54/5.0 en Humor in AI y 3.31/5.0 en Electronic Sheep), superando a todas las líneas base.
Estudios de Ablación: Eliminar cualquiera de los tres módulos centrales (Descripción de la Situación, Guiones en Conflicto o Árboles de Imaginación) resultó en una degradación del desempeño, confirmando la necesidad del marco completo. La puntuación "Relevancia-Oposición" fue identificada como particularmente crítica.
Generalización: El método demostró una generalización robusta en un conjunto de datos de Memes separado (ImgFlip), superando a los competidores por un ~5.4% en promedio.
Seguridad: La detección de toxicidad mediante Detoxify mostró un contenido dañino insignificante (suma de puntuaciones de toxicidad < 0.03), lo que indica que el marco genera subtítulos seguros.

Significancia y Reivindicaciones

El artículo afirma que HOMER ofrece un camino prometedor para la generación de humor multimodal impulsada por la teoría. Su principal significancia radica en el cambio de paradigma del razonamiento de "caja negra" a un marco modular e interpretable que aprovecha explícitamente la teoría del humor. Al desglosar la generación de humor en extracción de guiones, expansión imaginativa y síntesis estructurada, los autores demuestran que es posible lograr una mayor creatividad y originalidad de la que los LLM actuales pueden producir mediante solo prompting. Los resultados sugieren que incorporar conocimiento de humor externo (vía recuperación) y guía teórica estructurada (vía GTVH) es esencial para superar las limitaciones de los mecanismos de humor inherentes de los LLM. Los autores mantienen la modestia, señalando que el marco aún tiene dificultades con imágenes puramente formales o no humorísticas donde la oposición de guiones es difícil de detectar, reconociendo que el humor sigue siendo un dominio desafiante para la IA.