💬 NLP

On the Wings of Imagination: Conflicting Script-based Multi-role Framework for Humor Caption Generation

Este artigo apresenta o HOMER, um novo framework de LLM de múltiplos papéis impulsionado por teoria do humor que utiliza oposições de roteiro, imaginação hierárquica com aumento de recuperação e geração de legendas direcionadas para superar significativamente os métodos de estado da arte existentes na criação de legendas de imagens multimodais engraçadas.

Autores originais: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenbo Shang, Yuxi Sun, Jing Ma, Xin Huang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ensinar um robô a contar uma piada. Você poderia pensar: "Basta dar uma imagem a ele e pedir para ser engraçado!" Mas aqui está o detalhe: para um computador, "engraçado" é um conceito escorregadio e confuso. Não se trata apenas de descrever o que se vê; trata-se de entender as regras ocultas do mundo, perceber quando essas regras são quebradas e, então, contorcer o cérebro para encontrar a surpresa nessa quebra. Este é o coração da geração de humor multimodal, um campo onde cientistas tentam ajudar a Inteligência Artificial (IA) a entender a diferença entre uma xícara de café normal e uma xícara de café do tamanho de uma banheira.

Para fazer isso, os pesquisadores deste artigo baseiam-se em uma ideia clássica da teoria do humor chamada Oposição de Scripts. Pense em um "script" como um roteiro de filme mental que todos conhecemos de cor, como "ir a uma reunião" ou "beber café". O humor muitas vezes acontece quando dois desses scripts colidem de uma forma estranha — como uma reunião de negócios séria onde todos estão bebendo de canecas gigantes. O artigo sugere que, para tornar um computador verdadeiramente engraçado, ele não pode apenas adivinhar; ele precisa de um plano estruturado para encontrar esses choques, imaginar conexões selvagens e, então, escrever um desfecho que amarre tudo.

O artigo apresenta um novo sistema chamado HOMER (Humor-theory-driven Multi-role LLM collaboration framework with humor retrieval). Em vez de pedir a uma única IA para "ser engraçada" e esperar pelo melhor, o HOMER atua como uma pequena equipe especializada de escrita de comédia. Ele divide o trabalho em três papéis distintos, cada um desempenhado por um agente de IA diferente trabalhando em conjunto:

O Detetive de Conflitos (Extrator de Scripts Conflitantes): Este agente observa a imagem e a descrição da cena para encontrar a "falha" na realidade. Se a imagem mostra uma sala de reunião com cadeiras normais, mas uma xícara de café gigante e desproporcional, este agente detecta o choque entre "escritório normal" e "xícara gigante". Ele identifica a contradição central que torna a piada possível.
O Imaginador Selvagem (Imaginador Hierárquico): Uma vez encontrado o conflito, este agente parte em uma caçada criativa. Ele pega o objeto estranho (a xícara gigante) e constrói uma árvore de associações. Ele pode pensar: Xícara → Café → Leite → Vaca. Mas ele não apenas adivinha; ele verifica um enorme banco de dados de piadas humanas reais para ver quais conexões realmente funcionam como engraçadas. Ele poda as ideias entediantes e mantém aquelas que possuem o maior "potencial de humor".
O Escritor de Desfechos (Gerador de Legendas): Finalmente, este agente pega o conflito, a árvore de imaginação selvagem e a descrição da cena para escrever a legenda real. Ele combina todas as pistas em uma frase curta e espirituosa que explica o absurdo.

O artigo conclui que essa abordagem de equipe funciona significamente melhor do que deixar uma única IA tentar fazer tudo de uma vez. Ao serem testados em milhares de legendas de desenhos reais da New Yorker (uma famosa revista conhecida por seus desenhos engraçados), o HOMER superou consistentemente outros modelos de IA de ponta. De fato, em média, as legendas do HOMER foram cerca de 7% mais propensas a vencer contra legendas escritas por humanos em comparação ao segundo melhor método.

Os autores argumentam contra a ideia de que simplesmente fazer uma IA "pensar mais profundamente" ou "raciocinar mais" (como usar cadeias de lógica complexas passo a passo) seja suficiente para gerar humor. Eles mostram que, sem um guia específico sobre como o humor funciona (como procurar oposições de scripts) e sem uma maneira estruturada de explorar ideias criativas, a IA tende a produzir legendas que são lógicas, mas não necessariamente engraçadas. Ao decompor o processo nessas etapas específicas e orientadas pela teoria, o HOMER cria legendas que parecem mais originais e genuinamente divertidas, provando que, às vezes, para ser engraçado, você precisa de um pouco de estrutura e de muita imaginação.

Resumo Técnico: HOMER – Um Framework de Múltiplos Papéis Baseado em Scripts de Conflito para Geração de Legendas Humorísticas

Definição do Problema

O artigo aborda o desafio da geração de humor multimodal, especificamente a tarefa de gerar legendas engraçadas para imagens (ex: cartuns). Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades de compreensão visual e raciocínio, eles frequentemente lutam com a criatividade, originalidade e o raciocínio lógico profundo necessários para um humor genuíno. Abordagens existentes que dependem de prompting genérico, autoaperfeiçoamento via cadeias de raciocínio (ex: Chain-of-Thought) ou ajuste específico para a tarefa tendem a capturar uma linguagem de humor superficial, em vez das estruturas lógicas subjacentes do humor. Consequentemente, esses modelos frequentemente produzem legendas que são semanticamente precisas, mas carecem da qualidade de "punchline" (o ápice da piada), da interpretabilidade e da imaginação criativa necessárias para igualar o nível humano de humor.

Metodologia: Framework HOMER

Os autores propõem o HOMER (Humor-Theory-Driven Multi-Role LLM Collaboration Framework augmented with Humor Retrieval). O framework é fundamentado na Teoria Geral do Humor Verbal (GTVH), que modela o humor através de cinco recursos de conhecimento: oposição de scripts, situação, alvo, estratégia narrativa e linguagem. O HOMER operacionaliza essa teoria através de três papéis coordenados baseados em LLM:

1. Extrator de Scripts Conflitantes (Conflicting-Script Extractor)

Este módulo analisa a imagem de entrada para derivar dois componentes críticos:

Descrição da Situação ( $D$ ): Um contexto detalhado incluindo localização, personagens, expressões e ações.
Scripts Conflitantes ( $C$ ): O núcleo do mecanismo de humor. O extrator identifica pares de quadros semânticos (scripts) contrastantes ou incongruentes dentro da situação (ex: "xícaras de café normais" vs. "xícaras gigantes"). Essa oposição de scripts estabelece a lógica de violação de expectativa essencial para o humor.

2. Imaginador Hierárquico (Hierarchical Imaginator)

Uma vez estabelecida a fundação do humor ( $D$ e $C$ ), este módulo identifica entidades-chave como alvos de humor e expande o espaço criativo através de uma abordagem de duas frentes:

Imaginação de Padrão Profundo (Cadeias de Backbone): O LLM realiza associações livres de múltiplas visões (visões locais e globais) para gerar cadeias lógicas de entidades relacionadas (ex: xícara de café $\to$ leite $\to$ vaca). Essas cadeias formam a espinha dorsal das "árvores de imaginação".
Imaginação de Padrão Amplo (Aumentada por Recuperação): Para evitar saídas repetitivas ou limitadas, o framework recupera piadas relevantes de um banco de dados curado de 335.570 piadas de uma linha (one-liners). Ele constrói consultas baseadas nas entidades de backbone e no contexto do humor.
HOMER-Pruning: Um mecanismo de pontuação filtra as entidades recuperadas para garantir uma imaginação de alta qualidade. A pontuação $H(e, \varepsilon)$ $H (e, ε)$ combina três fatores:
1. Relevância-Oposição ( $H_{rel}$ ): Equilibra similaridade semântica com oposição conceitual (incongruência) usando relações do WordNet.
2. Frequência de Humor ( $H_{freq}$ ): Prioriza entidades que aparecem frequentemente em piadas relevantes.
3. Diversidade de POS ( $H_{div}$ ): Incentiva a ambiguidade lexical (ex: palavras com múltiplas classes gramaticais/partes do discurso) para facilitar trocadilhos.

3. Gerador de Legenda (Caption Generator)

O módulo final sintetiza a descrição da situação, os scripts conflitantes e um caminho selecionado da árvore de imaginação. Ele constrói um prompt $\Phi(C, D, P_i, \Omega)$ que incorpora os cinco recursos de conhecimento da GTVH (incluindo estratégia narrativa e opções de estilo linguístico) para gerar a legenda engraçada final.

Principais Contribuições

Mecanismo Baseado em Teoria: Diferente de métodos anteriores que dependem de raciocínio heurístico, o HOMER modela explicitamente a geração de humor usando o framework GTVH, fornecendo um processo interpretável e passo a passo, da oposição de scripts à geração da legenda.
Colaboração de Múltiplos Papéis: O framework decompõe a tarefa complexa em papéis especializados (Extração, Imaginação, Geração), permitindo um controle direcionado sobre a lógica e os materiais do humor.
Imaginação Aumentada por Recuperação: A introdução de um "imaginador hierárquico" que combina associações profundas impulsionadas por LLM com a recuperação de humor de um grande banco de dados de piadas expande significativamente o espaço criativo além do conhecimento intrínseco do modelo.
Pontuação Quantitativa para Humor: A proposta da função de pontuação $H(e, \varepsilon)$ fornece um método principista para filtrar e selecionar associações imaginativas baseadas em relevância, oposição, frequência e diversidade.

Resultados Experimentais

O framework foi avaliado em dois conjuntos de dados de benchmark de cartuns da New Yorker: Humor in AI e Electronic Sheep.

Desempenho: O HOMER superou significativamente os baselines de estado da arte (incluindo HumorousAI, CLoT, LoL e Phunny) e estratégias de raciocínio avançado (CoT, Few-shot, Self-consistency).
- No conjunto de dados Humor in AI (grupo Top 10), o HOMER alcançou um pass@1 de 66,41%, uma melhoria de ~6,9% sobre o melhor baseline (HumorousAI com 62,11%).
- No conjunto de dados Electronic Sheep (grupo High-Humor), o HOMER alcançou um pass@1 de 75,53%, uma melhoria de ~12,1% sobre o melhor baseline.
Avaliação Humana: Em um estudo com 12 avaliadores pontuando os métodos, o HOMER recebeu a maior média de classificação de humor (3,54/5,0 no Humor in AI e 3,31/5,0 no Electronic Sheep), superando todos os baselines.
Estudos de Ablação: A remoção de qualquer um dos três módulos principais (Descrição da Situação, Scripts Conflitantes ou Árvores de Imaginação) resultou em degradação do desempenho, confirmando a necessidade do framework completo. A pontuação "Relevância-Oposição" foi identificada como particularmente crítica.
Generalização: O método demonstrou generalização robusta em um conjunto de dados de Memes separado (ImgFlip), superando os concorrentes em ~5,4% em média.
Segurança: A detecção de toxicidade usando o Detoxify mostrou conteúdo prejudicial desprezível (soma das pontuações de toxicidade < 0,03), indicando que o framework gera legendas seguras.

Significância e Alegações

O artigo afirma que o HOMER oferece um caminho promissor para a geração de humor multimodal fundamentada em teoria. Sua principal significância reside na mudança de paradigma do raciocínio "caixa-preta" para um framework modular e interpretável que explicitamente utiliza a teoria do humor. Ao decompor a geração de humor em extração de scripts, expansão imaginativa e síntese estruturada, os autores demonstram que é possível alcançar maior criatividade e originalidade do que os LLMs atuais conseguem produzir apenas através de prompting. Os resultados sugerem que incorporar conhecimento externo de humor (via recuperação) e orientação teórica estruturada (via GTVH) é essencial para superar as limitações dos mecanismos de humor intrínsecos dos LLMs. Os autores permanecem modestos, observando que o framework ainda enfrenta dificuldades com imagens puramente formais ou não humorísticas onde a oposição de scripts é difícil de detectar, reconhecendo que o humor continua sendo um domínio desafiador para a IA.