💬 NLP

lmfaoooo at SemEval-2026 Task 1: Humor Is an Audience. Preference Modeling for Constrained Humor Generation

Este artigo apresenta um sistema vencedor do 1º lugar para o SemEval-2026 Task 1 (MWAHAHA) que aborda a natureza dependente do público do humor ao empregar uma estratégia de "gerar muitos, selecionar o melhor", onde um conjunto diversificado de candidatos é classificado por um modelo de preferência treinado em julgamentos pareados humanos em vez de pontuações absolutas de engraçadice.

Autores originais: Alexey Tikhonov, Alexey Ivanov

Publicado 2026-06-02

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexey Tikhonov, Alexey Ivanov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o dono de um clube de comédia tentando escolher a piada mais engraçada para o show de hoje. Você tem mil piadas escritas por um robô superveloz, mas sabe que o que faz uma pessoa rir pode fazer outra revirar os olhos. O papel que você está lendo é um relatório sobre como os autores construíram um sistema para resolver exatamente este problema para uma competição de ciência da computação chamada SemEval-2026 Task 1 (apelidada de MWAHAHA).

Aqui está a história de como eles fizeram isso, dividida em passos simples:

1. O Problema: "Engraçado" é relativo ao observador

Os autores apontam que ensinar um computador a ser engraçado é difícil não porque ele não consiga escrever palavras, mas porque o "engraçado" é subjetivo.

O Problema da Audiência: Uma piada que arrasa em Berlim pode fracassar em Pequim. Até os humanos não conseguem concordar sobre o que é engraçado; se você pedir a 10 pessoas para avaliarem uma piada, elas darão 10 pontuações diferentes.
O Problema do Robô: Computadores são ótimos em memorizar. Se você pedir a um robô para contar uma piada, ele muitas vezes apenas repete as mesmas 25 piadas que conhece de cor, como um papagaio repetindo um bordão. Ele tem dificuldade em criar algo verdadeiramente novo.

2. A Estratégia: "Jogar Dardos, Depois Escolher o Alvo"

Em vez de tentar fazer o computador escrever a piada perfeita de uma só vez, os autores usaram uma estratégia de duas etapas: Gerar Muitos, Depois Selecionar o Melhor.

Passo 1: A "Fábrica de Piadas" (Geração)
Eles montaram uma fábrica que produz 50 piadas diferentes para cada comando individual. Eles usaram uma mistura de diferentes modelos de IA (como uma equipe de diferentes comediantes) e os forçaram a serem criativos para que não fizessem apenas o "copia e cola" das mesmas piadas antigas. Eles também garantiram que as piadas seguissem as regras (como incluir palavras específicas ou manter um certo comprimento).
- Analogia: Imagine pedir a 50 chefs diferentes para fazerem um hambúrguer. Alguns farão o seu picante, outros doce, outros estranho. Agora você tem uma enorme pilha de hambúrgueres.
Passo 2: O "Provador" (Seleção)
Agora, eles precisavam de uma maneira de escolher o vencedor entre essa pilha de 50. Como os humanos não podem julgar cada piada em tempo real, eles construíram um Modelo de Preferência.
- Em vez de perguntar ao computador, "Esta piada é engraçada?" (o que é vago e confuso), eles perguntaram: "Entre a Piada A e a Piada B, qual é a melhor?".
- Eles treinaram este modelo com cerca de 2.500 votos humanos onde as pessoas comparavam duas piadas e escolhiam uma vencedora. Isso é como treinar um juiz mostrando a ele milhares de confrontos "A vs. B" até que o juiz aprenda o gosto da multidão.

3. O Ingrediente Secreto: O "Livro de Receitas de Humor"

Para tornar seu "Provador" mais inteligente e fácil de entender, os autores não deixaram o computador apenas adivinhar. Eles criaram uma "Base de Humor" — uma lista curta de 17 "sabores" específicos de humor.

Pense nisso como um porta-temperos. Os sabores podem incluir "Humor Negro", "Jogo de Palavras", "Exagero" ou "Reviravolta Inesperada".
Quando o computador olha para uma piada, ele não apenas diz "Bom" ou "Ruim". Ele verifica a piada contra o porta-temperos: Isso tem um punchline forte? Está usando jogo de palavras? É sombrio demais?
Isso torna o sistema "interpretável", o que significa que os humanos podem olhar para os resultados e entender por que o computador escolheu aquela piada (ex: "Ele escolheu esta porque tinha uma ótima reviravolta, embora fosse um pouco curta").

4. Os Resultados: Vencendo a Competição

Eles testaram este sistema em três tipos diferentes de dados (piadas do Reddit, piadas profissionais e seu próprio conjunto de dados novo).

O Vencedor: Este método de "Comparar Duas Piadas" funcionou muito melhor do que apenas pedir ao computador para dar uma nota para uma única piada. Também foi melhor em lidar com diferentes idiomas e culturas do que outros métodos.
O Troféu: Na competição real (MWAHAHA), o sistema deles ficou em 1º lugar em inglês e chinês, e em 2º lugar em espanhol.

5. A Grande Conclusão

O artigo conclui que o futuro do humor computacional não é fazer o robô escrever piadas melhores do zero. O robô já é bom em escrever muitas piadas. O verdadeiro desafio é escolher a certa.

Os autores argumentam que, se quisermos que os computadores sejam engraçados, precisamos parar de medir o "engraçado" como um único número e começar a focar em preferências — entender o que públicos específicos gostam ao comparar opções, exatamente como fazemos quando decidimos qual filme assistir ou qual música tocar.

Em resumo: Eles construíram um sistema que gera um enorme buffet de piadas e usa um "provador" inteligente e treinado para escolher o prato que a audiência tem mais probabilidade de amar, vencendo a competição ao entender que o humor tem a ver com a preferência do público, e não apenas com a piada em si.

Resumo Técnico: SemEval-2026 Task 1 (MWAHAHA)

Enunciado do Problema
O artigo aborda a dificuldade persistente da geração computacional de humor, que advém de dois desafios primários: a subjetividade inerente ao que é "engraçado" e a tendência dos Grandes Modelos de Linguagem (LLMs) de memorizar e repetir templates de alta frequência em vez de gerar conteúdo novel. O humor é dependente do público, variando significamente conforme cultura, demografia e contexto, levando a uma supervisão ruidosa onde o acordo entre anotadores é frequentemente baixo (ex: Fleiss' $\kappa \approx 0,49$ para dados relacionados a trocadilhos). Além disso, a geração sem restrições frequentemente resulta em colapso de modo (mode collapse), onde os modelos recorrem a um pequeno conjunto de piadas familiares. A SemEval-2026 Task 1 (MWAHAHA) foca especificamente na geração de humor com restrições (ex: condicionada a manchetes ou palavras específicas) em inglês, espanhol e chinês, avaliando sistemas via julgamentos de preferência humana em um ambiente estilo arena. Os autores argumentam que, para tarefas com restrições, o gargalo não é a geração bruta, mas a seleção confiável do candidato ideal para um público-alvo.

Metodologia
Os autores propõem um pipeline de dois estágios "gerar-muitos $\rightarrow$ selecionar-o-melhor", tratando a geração de humor como um problema de maximização de diversidade seguido por um problema de aprendizado de preferência.

Geração de Candidatos:
- Estratégia: Uma abordagem de prompting de múltiplos passos inspirada em técnicas de brainstorming: gerar associações, expandi-las e fundi-las em piadas finais.
- Diversidade e Restrições: Um ensemble de modelos (Claude-Sonnet-4, Claude-Ops-4.5 e GPT-5) é utilizado com uma temperatura de 1.0. Um truque de "amostragem focada na cauda" (tail-focused sampling) extrai candidatos de regiões de baixa probabilidade para aumentar a novidade.
- Filtragem: 50 candidatos são gerados por instância. Restrições rígidas (inclusão de palavras-chave, comprimento) são impostas deterministicamente. Duplicatas próximas são removidas via similaridade de embeddings, retendo apenas o centroide de cada cluster.
Modelagem de Preferência e Seleção:
- "Base de Humor" Interpretável: Em vez de depender apenas de embeddings de texto bruto, os autores constroem uma base de características compacta e interpretável (17 características na execução final). Esta é derivada através do prompting de um LLM para gerar "dicas de diferença" (difference hints) entre pares de piadas, realizando o embedding dessas dicas, agrupamento (DP-means) e deduplicação semântica.
- Extração de Características: A base é usada para pontuar piadas em dois modos:
  - Pointwise: Pontuando uma única piada contra as regras.
  - Pairwise: Comparando duas piadas para determinar qual se alinha melhor com regras específicas.
- Treinamento do Modelo: Preditores de preferência leves são treinados usando L1 (LASSO) para seleção de características e regressão regularizada por L2 para estabilidade. Os autores priorizam a regressão baseada em pares (pairwise-based regression) como a abordagem principal, pois ela produz maior estabilidade de ranking global, apesar dos custos computacionais mais elevados ( $\Theta(n^2)$ vs. $\Theta(n)$ ). Eles empregam otimizações como a priorização de comparações entre componentes desconectados e candidatos dissimilar para reduzir o número de avaliações necessárias para $\Theta(n \log n)$ .
- Ranking Global: Rankings finais são agregados usando modelos de Bradley-Terry-Luce e procedimentos estilo Elo via toolkit Evalica.

Principais Contribuições

Liberação de Dados de Preferência: A liberação de $\sim$ 2,5K julgamentos pareados humanos coletados via o protótipo "Humor Arena", juntamente com conjuntos de dados existentes baseados em Reddit e ScaleAI.
Enquadramento Focado em Preferência: Uma formalização da geração de humor com restrições como um problema de ranking impulsionado por decisões pareadas repetidas, argumentando que isso fornece sinais de aprendizado mais estáveis do que a pontuação absoluta.
Pipeline Interpretável: Um método para converter comparações rotuladas em uma base de características compacta, permitindo o treinamento de modelos de preferência leves e interpretáveis.
Implementação do Sistema: O sistema "lmfaoooo", que integra o fluxo de trabalho de geração e seleção, com todos os prompts, pools de candidatos e artefatos liberados publicamente.

Resultados

Desempenho Dentro do Dataset: Nos três datasets (Reddit, ScaleAI e Humor Arena), modelos de características baseados em pares superaram consistentemente tanto os baselines pointwise quanto os baselines "NoBasis" (juiz LLM direto). Por exemplo, no dataset Humor Arena, o modelo pairwise alcançou 77% de acurácia comparado a 45% do modelo pointwise e 37% do modelo NoBasis.
Transferência Cross-Domain: Modelos pairwise demonstraram capacidades de transferência mais fortes que os baselines pointwise. Embora a transferência tenha sido parcial e assimétrica (indicando componentes de humor tanto universais quanto específicos de comunidade), os modelos pairwise mantiveram maior acurácia em configurações de teste fora da diagonal.
Desempenho na SemEval-2026 Task 1: O sistema alcançou o 1º lugar nas sub-tarefas de Inglês e Chinês e o 2º lugar na sub-tarefa de Espanhol.
- ELO Inglês: 1041 (IC 95% [1009, 1064])
- ELO Chinês: 1081 (IC 95% [1031, 1127])
- ELO Espanhol: 1091 (IC 95% [1053, 1121])

Significância e Alegações
O artigo postula que o futuro da geração de humor depende menos da melhoria das capacidades de geração de texto bruto — que os LLMs modernos já possuem em abundância — e mais da melhoria da avaliação e modelagem de preferência. Os autores alegam que seus resultados sustentam uma visão de "preferência primeiro": gerar candidatos diversos é cada vez mais fácil, mas identificar confiavelmente qual candidato se alinha a um público específico continua sendo a dificuldade central. O uso de uma base de características interpretável permite uma análise de erro direcionada, revelando que, enquanto algumas características de humor (ex: punchlines claras) são selecionadas universalmente, outras são específicas de cada comunidade. Os autores concluem que o progresso neste campo dependerá cada vez mais de modelagem de preferência robusta, em vez de apenas melhorias na arquitetura de geração.