Dark & Stormy: Modeling Humor in Sentences from the Bulwer-Lytton Fiction Contest

Título: Dark & Stormy: Modelando Humor em Frases do Concurso de Ficção Bulwer-Lytton

1. Problema e Motivação

O humor textual é extremamente diverso, mas os estudos computacionais atuais tendem a focar em formas familiares, como manchetes satíricas, trocadilhos (puns) e piadas curtas. Existe uma lacuna significativa na compreensão de um subgênero específico: o humor intencionalmente ruim ("bad humor").
O artigo aborda a dificuldade dos modelos de processamento de linguagem natural (PLN) em lidar com esse tipo de humor, que depende de violação de expectativas literárias, metáforas exageradas e incoerências semânticas, em vez de apenas estruturas de piada convencionais. O objetivo é analisar frases do Concurso de Ficção Bulwer-Lytton (BLFC), onde os participantes são desafiados a escrever "a pior frase de abertura de um romance já escrito".

2. Metodologia

2.1. Coleta e Construção de Dados
Os autores compilaram um novo corpus com 1.778 frases humanas do BLFC (1996–2024), incluindo metadados de gênero e prêmios. Para comparação, foram utilizados:

• Novel-openings: Frases de abertura de romanos reais (crowdsourced).
• Combo-humor: Dataset combinado de humor existente (trocadilhos, sátira, piadas do Reddit/Twitter).
• PotD (Pun of the Day): Dataset específico de trocadilhos.
• Frases Sintéticas: 1.000 frases geradas por Grandes Modelos de Linguagem (LLMs) — GPT-5, GPT-4.1, DeepSeek-V3.1 e gpt-oss-120b — usando um prompt de "one-shot" (uma única amostra) descrevendo as regras do concurso.

2.2. Análise de Detecção de Humor
Foram testados modelos de detecção de humor existentes (baseados em RoBERTa, treinados por Baranov et al., 2023) para verificar se classificavam as frases do BLFC como engraçadas.

2.3. Análise de Dispositivos Literários
Utilizou-se um framework baseado em prompts (adaptado do TopicGPT) com o GPT-4.1 para extrair e rotular automaticamente oito dispositivos literários principais nas frases:

• Trocadilho (Pun), Ironia, Metaficção, Repetição, Simile (comparação), Sátira, Onomatopeia e Metáfora.
• A qualidade das rotulas foi validada através de uma tarefa de "intruso" (intruder task) com anotação humana.

2.4. Análise de Incongruência e Surprisal

• Surprisal (Sobressalto): Calculou-se a probabilidade dos tokens usando o modelo de linguagem gemma-3-1b-pt. Analisou-se a distribuição de tokens de alta surpresa (baixa probabilidade) ao longo da posição da frase.
• Bigramas Adjetivo-Substantivo (AN): Investigou-se a "novidade" semântica combinando adjetivos e substantivos. A contagem desses bigramas foi verificada no corpus de pré-treinamento DCLM (DataComp-LM) para identificar desvios semânticos (combinações raras ou inexistentes).

3. Resultados Principais

3.1. Falha dos Modelos de Detecção

• Modelos de humor padrão falham em identificar as frases do BLFC como humorísticas. As pontuações de humor das frases do BLFC são comparáveis às de frases de abertura de romanos sérios e muito inferiores às do dataset combo-humor.
• Modelos treinados especificamente para detectar trocadilhos também performam mal, pois o humor do BLFC é multifacetado e contextual, diferindo das piadas curtas focadas apenas no trocadilho.

3.2. Dispositivos Literários Distintivos

• As frases do BLFC diferem significativamente dos outros datasets pelo uso excessivo de Ironia, Metaficção e Simile.
• Elas ocupam um espaço intermediário no uso de trocadilhos e sátira em comparação com piadas tradicionais e aberturas de romanos.
• LLMs Exageram: As frases geradas por LLMs imitam a forma, mas exageram o uso de certos dispositivos (especialmente Simile, Metáfora e Onomatopeia) em comparação com os humanos.

3.3. Padrões de Surprisal e Incongruência

• Distribuição: Em piadas tradicionais (combo-humor), os tokens de alta surpresa tendem a ocorrer no início ou no final da frase. Nas frases do BLFC, a distribuição de tokens surpreendentes é mais plana ao longo de toda a frase.
• Quantidade: Frases do BLFC contêm significativamente mais tokens de alta surpresa por frase (média de 5,1) do que piadas tradicionais (2,0).
• LLMs: Modelos como o GPT-5 geram uma quantidade ainda maior de tokens de alta surpresa (9,2), indicando uma tentativa de forçar o humor que resulta em incoerência excessiva.

3.4. Desvio Semântico (Bigramas AN)

• As frases do BLFC contêm muito mais bigramas Adjetivo-Substantivo "novos" (que aparecem poucas vezes no corpus de treinamento DCLM) do que as frases de romanos ou piadas.
• Exemplo Humano: "ocherous brilliance" (brilho ocre), "helpless patrolman" (patrulheiro impotente).
• Exemplo Sintético (Exagerado): "brocadeed accordion" (acordeão brocado), "tragic omelet" (omelete trágico).
• As frases sintéticas apresentam uma taxa ainda maior de bigramas raros ou inexistentes, sugerindo que os LLMs tentam criar "estranheza" através da combinação aleatória de palavras em vez de uma construção literária intencional.

4. Contribuições Chave

1. Novo Dataset: Introdução de um corpus de 1.778 frases de humor intencionalmente ruim (BLFC) com metadados ricos, preenchendo uma lacuna em datasets de humor focados apenas em piadas "boas".
2. Análise de Falha de Modelos: Demonstração empírica de que os modelos atuais de detecção de humor não conseguem generalizar para formas de humor baseadas em "má escrita" estilística e incoerência literária.
3. Caracterização de Estilos: Identificação de que o humor do BLFC é definido por uma combinação específica de dispositivos literários (metaficção, simile) e alta densidade de tokens de baixa probabilidade, diferindo fundamentalmente de trocadilhos ou sátira.
4. Avaliação de LLMs: Evidência de que, embora os LLMs consigam imitar a estrutura do humor "ruim", eles tendem a hiper-otimizar certos traços (exagerando metáforas e criando combinações semânticas absurdas), falhando em capturar a nuance humana da "má escrita" intencional.

5. Significado e Conclusão

O trabalho destaca que o humor computacional não pode ser tratado como um problema monolítico. O "humor ruim" (intencional) exige uma compreensão mais profunda de como a linguagem viola expectativas de forma estilística, e não apenas lógica.
Os resultados sugerem que os LLMs atuais, ao seguirem instruções para gerar esse tipo de humor, tendem a cair em armadilhas de "alucinação estilística", produzindo textos que são estranhos, mas não necessariamente engraçados da maneira humana desejada. O estudo oferece um novo benchmark para avaliar a capacidade dos modelos de entender e gerar nuances literárias complexas e subjetivas, indo além da simples detecção de piadas.

O código e os dados estão disponíveis publicamente para fomentar pesquisas futuras sobre a interseção entre literatura, humor e inteligência artificial.