💬 NLP

Cards Against LLMs: Benchmarking Humor Alignment in Large Language Models

Este estudo avalia o alinhamento do humor em cinco modelos de linguagem avançados ao compará-los com humanos no jogo Cards Against Humanity, revelando que, embora superem o acaso, eles concordam entre si muito mais do que com as preferências humanas, sugerindo que seus julgamentos podem ser influenciados por vieses estruturais em vez de um genuíno senso de humor.

Autores originais: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Publicado 2026-04-13

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yousra Fettach, Guillaume Bied, Hannu Toivonen, Tijl De Bie

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está em uma festa com amigos, jogando um jogo chamado "Cartas Contra a Humanidade". A ideia é simples: alguém lê uma pergunta engraçada (uma "carta preta") e todos os jogadores escolhem, entre 10 opções, a resposta mais hilária (uma "carta branca"). O que torna o jogo divertido é que as respostas são muitas vezes absurdas, ofensivas ou totalmente fora de contexto.

Agora, imagine que, em vez de apenas humanos, você convida cinco super-inteligentes robôs (modelos de Inteligência Artificial de última geração) para jogar junto. A pergunta que os pesquisadores fizeram foi: "Esses robôs têm o mesmo senso de humor que a gente?"

O artigo que você leu é exatamente sobre esse experimento. Vamos desdobrar a descoberta deles usando algumas analogias simples:

1. O Teste de Humor (O Jogo)

Os pesquisadores pegaram quase 10.000 rodadas de jogos reais que humanos fizeram. Eles mostraram as mesmas perguntas e as mesmas 10 respostas para cinco modelos de IA famosos (como GPT, Gemini, Claude, etc.). O objetivo era ver se a IA escolheria a mesma carta que um humano escolheria.

O Resultado:

A IA não é tão engraçada quanto a gente: Os robôs acertaram a escolha do humano apenas entre 13% e 18% das vezes.
Comparação: Se eles chutassem aleatoriamente, acertariam 10%. Então, eles são um pouco melhores que o acaso, mas ainda estão muito longe de "entender" a piada como um humano. É como se um robô tentasse fazer uma piada de stand-up e, em vez de fazer todo mundo rir, ele apenas fizesse as pessoas darem um sorriso de "ok, foi uma tentativa".

2. O Fenômeno "Robô vs. Robô" (A Grande Surpresa)

Aqui está a parte mais estranha e interessante. Quando os pesquisadores compararam se os robôs concordavam entre si, a coisa mudou de figura.

Analogia: Imagine que você e seus amigos estão em uma sala. Você e seus amigos discordam sobre qual é a melhor piada. Mas, se você olhar para um grupo de robôs, eles parecem estar todos pensando a mesma coisa, mesmo que essa coisa seja diferente da dos humanos.
O Achado: Os robôs concordam entre si muito mais do que concordam com os humanos. Eles desenvolveram um "senso de humor robótico" próprio, que é consistente entre eles, mas não ressoa com a gente.

3. Por que eles não entendem a piada? (Os Vícios)

Os pesquisadores investigaram por que os robôs escolhiam o que escolhiam. Eles descobriram dois "vícios" (ou defeitos) principais:

O Vício da Posição (O "Lado Direito" da Mesa):
Imagine que as 10 cartas brancas estão dispostas em uma fila. Os robôs tendem a escolher cartas baseadas em onde elas estão na lista, e não necessariamente no que elas dizem.
- Exemplo: O modelo "DeepSeek" escolhe quase sempre a 3ª carta da lista. O "Grok" escolhe quase sempre a última. É como se eles dissessem: "Não li a piada, vou pegar a que está no meio". Isso é um erro técnico, não uma escolha de humor.
O Vício do Conteúdo (O "Gosto" Robótico):
Os robôs têm um gosto específico pelo que é engraçado. Eles gostam muito de piadas sobre corpos, coisas nojentas e sexo (mais do que os humanos). Mas eles evitam piadas sobre política, identidade ou demografia (que os humanos acham engraçadas).
- Analogia: É como se os robôs tivessem sido treinados para serem "seguros" e "politicamente corretos" demais, mas, ao mesmo tempo, caíram em uma armadilha onde acham que piadas de banheiro são o auge da comédia, ignorando a sátira social que os humanos adoram.

4. A Conclusão: Robôs com "Personalidade" Própria

O estudo conclui que os robôs não estão apenas "falhando" em entender o humor. Eles estão convergindo para uma visão de mundo própria.

Eles não estão tentando imitar a gente; eles estão criando uma cultura de humor baseada em como foram programados e treinados.
Eles são muito consistentes entre si (todos os robôs riem das mesmas coisas), mas essa "risada" é diferente da nossa.
Isso levanta uma questão importante: Será que a IA realmente entende o que é engraçado, ou ela apenas segue padrões matemáticos e viéses de posição que parecem engraçados para ela, mas não para nós?

Resumo em uma frase:

Os robôs são ótimos em jogar o jogo, mas têm um senso de humor "estranho" e muito consistente entre eles, preferindo piadas sobre o corpo e evitando temas sociais, tudo isso enquanto tendem a escolher a carta que está na posição errada da lista, provando que eles ainda não entenderam a alma da piada humana.

1. Problema e Motivação

O humor é uma dimensão fundamental da comunicação humana, profundamente enraizada na cultura, no contexto social e na cognição. Embora os Grandes Modelos de Linguagem (LLMs) tenham alcançado desempenho humano em tarefas estruturadas (como codificação e escrita), o alinhamento de humor permanece um "frontier" (fronteira) pouco explorado.
O problema central é determinar se os LLMs conseguem não apenas gerar texto engraçado, mas julgar o que é engraçado de forma alinhada com as preferências humanas. O humor envolve a violação e resolução de expectativas, conhecimento cultural compartilhado e sensibilidade a nuances, tornando-o um teste rigoroso para a compreensão do mundo e dos valores morais/políticos absorvidos pelos modelos durante o treinamento e o alinhamento (RLHF).

2. Metodologia

Os autores propuseram um framework de avaliação controlado baseado no jogo de cartas Cards Against Humanity (CAH).

Dataset: Utilizaram o CAH Lab Gameplay Dataset, contendo 9.894 rodadas de jogos reais jogados por humanos na plataforma online. Cada rodada consiste em uma "carta preta" (prompt) e 10 "cartas brancas" (respostas candidatas), onde o jogador humano seleciona a mais engraçada.
Modelos Avaliados: Cinco modelos de linguagem de ponta (frontier models):
1. GPT-5.2
2. Gemini 3 Flash
3. Claude Opus 4.5
4. Grok 4
5. DeepSeek-V3.2
Protocolo Experimental:
- Cada rodada foi apresentada aos 5 LLMs como uma tarefa de seleção de preferência.
  Os modelos receberam o prompt e uma lista numerada das 10 cartas brancas, devendo escolher a única mais engraçada.
- Replicação: Cada rodada foi executada duas vezes ( $R=2$ ) com a ordem das cartas brancas embaralhada aleatoriamente em cada execução para mitigar viés de posição.
- Análise de Viés: As cartas brancas foram anotadas com 15 tópicos temáticos (ex: humor físico, conteúdo sexual, política) usando um modelo "LLM como juiz".
Métricas de Avaliação:
1. Alinhamento Humano-LLM: Taxa de acerto (precisão) ao selecionar a mesma carta que o jogador humano.
2. Alinhamento LLM-LLM: Grau de concordância entre diferentes modelos.
3. Consistência Interna: Concordância de um modelo consigo mesmo entre as duas replicatas.
4. Análise de Viés: Teste de qui-quadrado para viés de posição e análise de distribuição de tópicos.

3. Principais Contribuições

Framework de Avaliação: Apresentação de um método padronizado onde modelos de ponta jogam as mesmas partidas de CAH que humanos, permitindo comparação direta.
Descoberta de Desalinhamento: Evidência de que, embora os LLMs superem a linha de base aleatória, o alinhamento com o humor humano é modesto.
Convergência de Modelos: Demonstração de que os LLMs concordam entre si muito mais frequentemente do que concordam com humanos, sugerindo a emergência de um "sentido de humor de LLM" distinto.
Explicação do Comportamento: Identificação de que viés de posição (preferência por cartas em certas posições da lista) e preferências de conteúdo (tópicos específicos) explicam uma parte significativa da concordância entre os modelos.

4. Resultados Chave

A. Alinhamento Humano-LLM (Precisão)

Todos os modelos superaram a linha de base aleatória (10%), mas a precisão absoluta permaneceu baixa, variando entre 13% e 18%.
O modelo Claude teve o melhor desempenho (17,9%), seguido por Grok e Gemini. GPT e DeepSeek ficaram atrás.
A análise de heterogeneidade demográfica (gênero, raça, ideologia política) não revelou diferenças significativas que justificassem o baixo desempenho médio; o desalinhamento é generalizado.

B. Concordância LLM-LLM vs. LLM-Humano

Conclusão Surpreendente: Os modelos concordam entre si substancialmente mais do que com os humanos.
- A concordância inter-modelo variou de 21,4% a 44,9%.
- A consistência intra-modelo (mesmo modelo em replicatas diferentes) foi ainda maior, variando de 49,5% a 63,3%.
Isso indica que os modelos desenvolveram um perfil de humor estável, mas desalinhado com a média humana.

C. Análise de Viés e Comportamento

Viés de Posição: Todos os modelos exibiram desvios significativos de uma distribuição uniforme.
- DeepSeek teve o viés mais forte, concentrando escolhas na posição 3.
- Grok preferiu a posição 10 (última).
- Claude mostrou preferência por posições iniciais.
Viés de Tópico:
- LLMs tendem a escolher cartas com temas de humor corporal (31-40% vs 21% em humanos) e temas sexuais (29-38% vs 24% em humanos) com mais frequência.
- Escolheram menos cartas relacionadas a política/sociedade e identidade/demografia do que os humanos.
- O GPT foi uma exceção, usando mais cartas de "miscelânea" e menos temas sexuais/bodily.
Modelos Surrogatos: Modelos logísticos condicionais, treinados apenas com base na posição e no tópico da carta (ignorando o contexto da carta preta), conseguiram prever as escolhas dos LLMs com precisão de até 36% (para Grok e DeepSeek). Isso sugere que uma parte considerável da "decisão de humor" dos modelos é baseada em heurísticas superficiais e não em raciocínio pragmático profundo.

5. Significado e Conclusão

O estudo revela que o humor é uma fronteira difícil para o alinhamento de IA.

Limites Atuais: Existe um "teto de precisão" atual (cerca de 18%) no alinhamento de humor humano-LLM, que não parece ser resolvido apenas por aumentar o tamanho do modelo.
Artefatos Estruturais: A forte concordância entre modelos e a dependência de viés de posição sugerem que o julgamento de humor dos LLMs pode refletir artefatos estruturais da inferência e do alinhamento (RLHF) em vez de uma compreensão genuína da nuance cultural e social do humor.
Filtro de Segurança: A preferência dos LLMs por evitar tópicos políticos e de identidade, e a ênfase em humor físico/sexual, pode ser um reflexo de procedimentos de segurança e fine-tuning que penalizam o humor transgressivo e absurdo, que é central para o jogo CAH e para o humor humano em geral.

Limitações citadas: O estudo depende de um único jogador humano como "verdade fundamental" (sem acordo inter-avaliadores), usa uma população de jogadores predominantemente ocidental e modelos treinados em contextos ocidentais (exceto DeepSeek), e os custos de API limitaram a escala experimental.

Em suma, o artigo conclui que, embora os LLMs capturem alguns aspectos do humor humano, eles operam sob uma lógica interna distinta, guiada por vieses sistemáticos e preferências de conteúdo que os tornam "divertidos" uns para os outros, mas menos alinhados com a sensibilidade humana média.