Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Hacer que una computadora cuente un chiste es una de las tareas más engañosamente difíciles en la inteligencia artificial. Requiere algo más que simplemente ensamblar palabras que sigan las reglas de la gramática; la máquina debe comprender las reglas sutiles, a menudo invisibles, de la cultura, el ritmo y la expectativa humanas. Un chiste que funciona en una ciudad podría fracasar o incluso resultar ofensivo en otra, y lo que a una persona le parece divertido podría parecerle confuso a otra. Durante años, los investigadores han intentado construir sistemas que puedan generar humor, pasando de programas simples basados en reglas que intercambiaban palabras a sistemas modernos y complejos que aprenden de vastas cantidades de texto. Pero a medida que estos sistemas se han vuelto más poderosos, ha surgido un nuevo problema: mientras las computadoras mejoran su capacidad para escribir chistes, la base sobre la que se sostienen se vuelve cada vez más difícil de ver. No sabemos si los datos de los que aprendieron representan verdaderamente a las personas a las que deben divertir, o si las pruebas utilizadas para juzgarlos están midiendo realmente lo que creemos que miden.

Una reciente encuesta sistemática realizada por investigadores de la Universidad Tecnológica de Administración de King Mongkut toma un vistazo riguroso a este fundamento oculto. El equipo examinó setenta y cuatro estudios publicados entre 2020 y 2026, un período que presenció un cambio masivo en la forma en que se enseña a las computadoras a crear humor. No solo observaron los chistes que las máquinas producían; rastrearon todo el ciclo de vida de la investigación, desde los datos brutos utilizados para entrenar los modelos hasta los métodos utilizados para decidir si un chiste era realmente divertido. Su objetivo era determinar si los recursos disponibles para los científicos son verdaderamente abiertos para que otros los usen, si los datos cubren la amplia variedad de culturas humanas y si la forma en que probamos estos sistemas es confiable. Lo que encontraron fue un campo en rápida transición, donde la tecnología ha superado la transparencia y el rigor necesarios para sustentarla.

El panorama de la generación de humor ha cambiado drásticamente en pocos años. En el pasado, los investigadores dependían de reglas específicas y artesanales o de pequeños conjuntos de datos diseñados para un único tipo de chiste, como un juego de palabras o un titular. Hoy en día, el campo está dominado por modelos de lenguaje de gran tamaño, que son programas informáticos masivos entrenados con enormes cantidades de texto de internet. Estos modelos pueden generar texto en muchos idiomas y estilos, y han aparecido en el setenta y tres por ciento de los estudios revisados. En lugar de escribir un programa para contar un chiste específico, los investigadores ahora suelen dar a estos modelos una instrucción sencilla, o "prompt", pidiéndoles que sean divertidos. Esta flexibilidad ha permitido un aumento en los nuevos experimentos, con un incremento agudo en el número de estudios después de 2023. Sin embargo, este cambio ha creado un nuevo tipo de opacidad. Debido a que el conocimiento del humor se encuentra ahora distribuido en la configuración interna del modelo, en las instrucciones dadas a este y en los datos que recupera durante la generación, a menudo es imposible saber exactamente de dónde proviene el humor o de qué contexto cultural específico se está nutriendo.

Uno de los hallazgos más sorprendentes de la encuesta es que, a pesar de la abundancia de datos, resulta increíblemente difícil encontrarlos, reutilizarlos o verificarlos. Los investigadores comprobaron la disponibilidad de los conjuntos de datos y los recursos creados en estos setenta y cuatro estudios y descubrieron que solo el veintiocho por ciento estaba disponible públicamente para que otros lo usaran. Aún más preocupante es que solo un estudio mencionó explícitamente la licencia legal que rige cómo se pueden usar sus datos. En el mundo de la investigación científica, esto es como publicar una receta pero negarse a enumerar los ingredientes o las reglas para compartir el plato. Cuando los investigadores examinaron los pocos recursos que se publicaron, descubrieron que ninguno tenía una dirección permanente e inalterable en internet, conocida como identificador persistente. Esto significa que los enlaces a los datos pueden romperse y, una vez que un enlace se rompe, los datos se pier덴 efectivamente. Sin licencias claras y ubicaciones estables, otros científicos no pueden reproducir los resultados ni construir sobre el trabajo, lo que ralentiza el progreso y hace difícil saber si un sistema es verdaderamente efectivo o simplemente tiene suerte.

La encuesta también reveló una brecha significativa entre los idiomas hablados por las personas a las que los sistemas pretenden servir y los idiomas utilizados para construirlos. Más de la mitad de los estudios se centraron exclusivamente en el inglés, a pesar de que los investigadores afirmaban que sus sistemas podían funcionar en diferentes culturas. Aunque hubo estudios que involucraron al chino, español, japonés y otros idiomas, muchos de ellos dependían de la traducción de chistes en inglés en lugar de la recopilación de humor creado naturalmente por hablantes nativos. Esta es una distincción crítica porque el humor está profundamente ligado a la cultura; un chiste que depende de un evento histórico específico o de una costumbre local no puede simplemente traducirse para que funcione en otro lugar. Los investigadores encontraron que solo cuatro estudios evaluaron directamente si el humor generado era culturalmente apropiado, utilizando evaluadores que pertenecían realmente a la comunidad objetivo. En la mayoría de los otros casos, los investigadores asumieron que si un hablante nativo lo encontraba divertido, era culturalmente seguro, sin probar realmente las sensibilidades culturales o las tradiciones específicas.

En cuanto a juzgar si una computadora ha contado un chiste con éxito, los métodos utilizados son a menudo inconsistentes y, en ocasiones, engañosos. El estándar de oro para medir el humor siempre ha sido el juicio humano, y la encuesta confirmó que la evaluación humana sigue siendo el método más común, utilizado en el ochenta y cuatro por ciento de los estudios. Sin embargo, la forma en que se realizan estas evaluaciones varía enormemente. Algunos estudios utilizan un pequeño grupo de estudiantes, mientras que otros emplean a comediantes profesionales o grandes grupos de trabajadores en línea. Menos del cuarenta por ciento de los estudios informaron haber utilizado pruebas estadísticas para asegurar que sus resultados no fueran solo una casualidad, y muchos no explicaron cómo decidieron si un chiste era gracioso o no. En un esfuerzo por acelerar las cosas, algunos investigadores han comenzado a utilizar otros modelos informáticos para actuar como jueces, pero la encuesta encontró que estos jueces automatizados a menudo discrepan con los humanos. Pueden calificar una respuesta como divertida porque es novedosa o sorprendente, incluso si un humano la encontraría confusa u ofensiva. Esto crea el riesgo de que los sistemas se estén optimizando para complacer a otras computadoras en lugar de para divertir a personas reales.

Los investigadores concluyeron que el principal obstáculo en el campo ya no es la falta de datos, sino la dificultad de encontrar, reutilizar y verificar los datos que ya existen. El cambio hacia modelos potentes de propósito general no ha eliminado la necesidad de recursos de alta calidad y bien documentados; al contrario, ha hecho que esos recursos sean aún más importantes. Para avanzar, el campo necesita adoptar mejores prácticas para compartir datos, incluyendo licencias claras, enlaces permanentes y descripciones detalladas de cómo se recolectaron y anotaron los datos. Lo más importante es que los investigadores deben asegurarse de que sus evaluaciones coincidan con las afirmaciones que hacen. Si se supone que un sistema es divertido para un grupo cultural específico, debe ser probado por personas de ese grupo, utilizando criterios que reflejen sus valores y tradiciones. Hasta que estos cimientos se fortalezcan, el progreso en hacer que las computadoras cuenten chistes seguirá siendo incierto, con avances que pueden reflejar las peculiaridades de los métodos de prueba en lugar de una verdadera comprensión del humor humano.