Augmenting Lateral Thinking in Language Models with Humor and Riddle Data for the BRAINTEASER Task

1. Problema e Contexto

O artigo aborda o desafio de desenvolver modelos de linguagem capazes de pensamento lateral (lateral thinking), uma forma de raciocínio criativo e não linear que se desvia dos processos lógicos tradicionais. Diferente do "pensamento vertical" (raciocínio passo a passo e lógico), o pensamento lateral exige a reinterpretação de conceitos familiares de maneiras inesperadas, desafiando associações de senso comum.

O foco do trabalho é a tarefa BRAINTEASER do SemEval 2024, que avalia essa capacidade através de dois subtipos:

• Sentence Puzzle (Quebra-cabeça de Frase): Requer reinterpretação do significado de uma frase que desafia o senso comum (ex: "Um homem barbeia-se todos os dias, mas mantém a barba longa").
• Word Puzzle (Quebra-cabeça de Palavra): Requer raciocínio sobre propriedades ortográficas ou fonéticas das palavras (ex: "Qual parte de 'Londres' está na França?").

O problema central é que os benchmarks de NLP existentes focam predominantemente em raciocínio lógico/vertical, deixando o pensamento lateral subexplorado e difícil para os modelos atuais.

2. Metodologia

Os autores propuseram um sistema baseado em fine-tuning de modelos pré-treinados, com as seguintes inovações metodológicas:

• Arquitetura do Modelo:

  • Foram comparadas duas formulações de tarefa: Classificação de Sequência (AutoModelForSequenceClassification) e Resposta Múltipla Escolha (AutoModelForMultipleChoice).
  • Utilizaram-se os modelos BERT e DeBERTaV3 (através da biblioteca Hugging Face).
  • Descobriu-se que a formulação de Múltipla Escolha é superior, pois trata cada opção como uma entrada independente, permitindo que o modelo compare melhor as alternativas, ao invés de apenas classificar a frase inteira.

• Estratégia de Aumento de Dados (Data Augmentation):

  • O conjunto de dados de treinamento original era pequeno. Para mitigar isso e enriquecer a capacidade de raciocínio lateral, os autores integraram duas fontes externas:
    1. Dados de Humor: Perguntas e respostas no estilo de piadas, geradas via prompting do GPT-4. Piadas compartilham a estrutura de "subverter expectativas" com os quebra-cabeças.
    2. RiddleSense: Um conjunto de dados público de charadas, que exige respostas criativas e não literais.
  • Os dados de Sentence e Word Puzzle foram misturados durante o treinamento para expor o modelo a diferentes tipos de desafios.

• Configuração Experimental:

  • Os modelos foram treinados no Amazon SageMaker.
  • Realizou-se uma busca de hiperparâmetros (tamanho de lote, taxas de aprendizado).
  • Para a tarefa de Word Puzzle, observou-se que o aumento de dados com RiddleSense e Sentence Puzzle não ajudou, levando a uma configuração específica apenas com dados de humor para essa sub-tarefa.

3. Contribuições Principais

O trabalho apresenta três contribuições fundamentais:

1. Superioridade da Arquitetura de Múltipla Escolha: Demonstra-se que a formulação AutoModelForMultipleChoice supera significativamente a classificação de sequência, resultando em um ganho de 10 pontos percentuais de acurácia com o mesmo modelo base (BERT).
2. Eficácia do Aumento de Dados com Humor e Charadas: A integração de dados sintéticos de humor (GPT-4) e o conjunto RiddleSense melhora substancialmente o desempenho no raciocínio lateral de nível de frase, alcançando 92,5% de acurácia.
3. Análise de Diferenciação de Tarefas: Revela-se que o aumento de dados não é universalmente benéfico. Enquanto funciona bem para Sentence Puzzles (raciocínio semântico), não transfere benefícios para Word Puzzles (que exigem manipulação ortográfica/fonética), sugerindo que diferentes tipos de raciocínio lateral requerem características de dados distintas.

4. Resultados

O sistema alcançou os seguintes resultados no conjunto de teste:

• Sentence Puzzle:
  • Acurácia Geral: 92,5%.
  • Classificação: 6º lugar entre 31 equipes.
  • Comparação: Superou a linha de base (ChatGPT zero-shot) em quase 50 pontos percentuais.
• Word Puzzle:
  • Acurácia Geral: 80,2%.
  • Classificação: 10º lugar entre 23 equipes.
  • Comparação: Superou a linha de base (ChatGPT zero-shot) em aproximadamente 40 pontos percentuais.

Análise de Falhas (Ablação):

• A mudança de BERT para DeBERTaV3 trouxe o maior ganho individual (+28,3 pontos).
• A mudança de arquitetura (Seq. para Múltipla Escolha) trouxe +9,2 pontos.
• O aumento de dados (Humor + RiddleSense) trouxe +4,2 pontos adicionais no Sentence Puzzle.
• Houve uma queda significativa na acurácia baseada em grupos (onde o modelo deve acertar a pergunta original e suas variantes adversariais simultaneamente), indicando que, embora o modelo acerte a pergunta original, sua robustez contra reconstruções semânticas ainda é um desafio.

5. Significado e Conclusão

O estudo demonstra que o pensamento lateral em LLMs pode ser aprimorado através de arquiteturas adequadas e da injeção de dados que compartilham a estrutura de "subversão de expectativas" (humor e charadas).

Implicações:

• A formulação da tarefa é tão crítica quanto a escolha do modelo.
• O aumento de dados deve ser cuidadosamente alinhado ao tipo de raciocínio exigido (semântico vs. ortográfico).
• O gap entre a acurácia de instância única e a acurácia de grupo destaca que a robustez adversarial em tarefas criativas ainda é um problema aberto.

Limitações e Futuro:
O trabalho foi limitado a modelos de tamanho "base" devido a restrições computacionais e utilizou dados sintéticos gerados por GPT-4 que não são totalmente determinísticos. Trabalhos futuros devem explorar representações em nível de caractere para Word Puzzles, geração de dados sintéticos em maior escala e métodos de ensemble que combinem raciocínio semântico e ortográfico.