Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

Resumen Técnico: Aumentando el Pensamiento Lateral en Modelos de Lenguaje con Datos de Humor y Acertijos para la Tarea BRAINTEASER

1. Planteamiento del Problema

El artículo aborda el desafío de evaluar el pensamiento lateral en los Modelos de Lenguaje (LLMs) a través de la tarea BRAINTEASER de SemEval 2024. A diferencia del pensamiento vertical (razonamiento lógico paso a paso), el pensamiento lateral requiere un razonamiento creativo y no lineal que desafía las asociaciones de sentido común.

La tarea se divide en dos subproblemas:

• Rompecabezas de Oración (Sentence Puzzle): Requiere reinterpretar el significado de una oración desafiando el sentido común (ej. "Un hombre se afeita todos los días, pero mantiene su barba larga").
• Rompecabezas de Palabra (Word Puzzle): Requiere razonar sobre propiedades ortográficas o fonéticas de las palabras (ej. "¿Qué parte de Londres está en Francia?").

El problema central es que los modelos actuales suelen fallar en estas tareas porque dependen de patrones de sentido común lineales y no logran captar las interpretaciones no obvias o los juegos de palabras necesarios para resolver estos acertijos.

2. Metodología

Los autores proponen un sistema que combina arquitecturas de modelos preentrenados con estrategias de aumento de datos específicas.

• Arquitectura del Modelo:

  • Se compararon dos enfoques de formulación de tareas: Clasificación de Secuencia (AutoModelForSequenceClassification) vs. Preguntas de Opción Múltiple (AutoModelForMultipleChoice).
  • Se utilizaron modelos base preentrenados: BERT y DeBERTaV3.
  • Hallazgo clave: La formulación de opción múltiple superó significativamente a la clasificación de secuencia, incluso con el mismo modelo base.

• Estrategia de Aumento de Datos:

  • Dado que el conjunto de datos original es pequeño, los autores aumentaron el entrenamiento con dos fuentes adicionales que comparten la estructura de razonamiento lateral:
    1. Datos de Humor generados por IA: Se utilizaron prompts en GPT-4 para generar preguntas de opción múltiple basadas en chistes, los cuales suelen depender de la reinterpretación inesperada de conceptos.
    2. Conjunto de datos RiddleSense: Un dataset público de acertijos que requiere abandonar interpretaciones literales.
  • Se combinaron los datos de los dos subproblemas (Oración y Palabra) durante el entrenamiento para diversificar la exposición del modelo.

• Procesamiento:

  • Se utilizó tokenización BPE (Byte-Pair Encoding).
  • Los modelos se entrenaron en instancias de AWS SageMaker (ml.p3.8xlarge y ml.p3.16xlarge).

3. Contribuciones Clave

1. Superioridad de la Arquitectura de Opción Múltiple: Demostraron que formular el problema como una tarea de opción múltiple (AutoModelForMultipleChoice) en lugar de clasificación de secuencia genera una mejora de 10 puntos de precisión con el mismo modelo base BERT.
2. Efectividad del Aumento de Datos Específico: Validaron que el aumento de datos con humor y acertijos mejora significativamente el rendimiento en el razonamiento lateral a nivel de oración, alcanzando un 92.5% de precisión.
3. Análisis de Diferencias por Nivel: Proporcionaron un análisis detallado que revela que las estrategias de aumento de datos no son universales; funcionan bien para el nivel de oración (semántico) pero no necesariamente para el nivel de palabra (ortográfico/fonético).

4. Resultados

El sistema propuesto obtuvo los siguientes resultados en el conjunto de prueba:

• Subtarea A (Rompecabezas de Oración):

  • Precisión General: 92.5%.
  • Ranking: 6º lugar entre 31 equipos.
  • Mejora: Superó al modelo base (BERT + Clasificación de Secuencia) en un 41.7% (de 50.8% a 92.5%). La combinación de DeBERTaV3, arquitectura de opción múltiple y datos aumentados fue crucial.
  • Superó al modelo zero-shot de ChatGPT en casi 50 puntos porcentuales.

• Subtarea B (Rompecabezas de Palabra):

  • Precisión General: 80.2%.
  • Ranking: 10º lugar entre 23 equipos.
  • Observación: A diferencia de la subtarea de oración, agregar datos de acertijos (RiddleSense) o datos de oración disminuyó el rendimiento en esta subtarea. El mejor modelo se entrenó solo con datos originales de palabras y datos de humor.

• Análisis de Robustez:

  • Se observó una brecha entre la precisión basada en instancias (respuesta individual correcta) y la precisión basada en grupos (resolver correctamente la pregunta original y sus variantes adversarias). Esto indica que, aunque el modelo acierta a menudo, su razonamiento no es totalmente robusto ante reconstrucciones semánticas o contextuales.

5. Significado y Conclusiones

El trabajo demuestra que el pensamiento lateral en LLMs es un desafío distinto al razonamiento lógico tradicional. Las conclusiones principales son:

• La formulación de la tarea es crítica: La arquitectura debe alinearse con la naturaleza de la pregunta (opción múltiple es superior para este tipo de acertijos).
• El aumento de datos debe ser específico: Los datos de humor y acertijos son excelentes para mejorar el razonamiento semántico (oraciones), pero pueden introducir ruido en tareas que requieren manipulación ortográfica o fonética (palabras).
• Desafíos futuros: Para mejorar el rendimiento en rompecabezas de palabras, se sugiere explorar representaciones a nivel de caracteres o estrategias de tokenización conscientes, en lugar de depender solo de datos semánticos aumentados.

El código y los datos del sistema serán públicos, facilitando la investigación futura en razonamiento lateral y creatividad computacional.