Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

Fazer um computador contar uma piada é uma das tarefas mais deceptivamente difíceis da inteligência artificial. Requer mais do que apenas montar palavras que sigam as regras da gramática; a máquina deve compreender as regras sutis, muitas vezes invisíveis, da cultura, do tempo e da expectativa humana. Uma piada que funciona em uma cidade pode fracassar ou até causar ofensa em outra, e o que parece engraçado para uma pessoa pode parecer confuso para outra. Durante anos, pesquisadores tentaram construir sistemas que pudessem gerar humor, passando de simples programas baseados em regras que trocavam palavras para sistemas modernos e complexos que aprendem com vastas quantidades de texto. Mas, à medida que esses sistemas se tornaram mais poderosos, um novo problema surgiu: enquanto os computadores estão ficando melhores em escrever piadas, a fundação sobre a qual eles se apoiam está se tornando mais difícil de enxergar. Não sabemos se os dados dos quais aprenderam realmente representam as pessoas que deveriam divertir, ou se os testes usados para julgá-los estão realmente medindo o que pensamos que estão.

Um levantamento sistemático recente realizado por pesquisadores da Universidade Tecnológica de Mongkut's Thonburi analisa rigorosamente essa fundação oculta. A equipe examinou setenta e quatro estudos publicados entre 2020 e 2026, um período que viu uma mudança massiva na forma como os computadores são ensinados a criar humor. Eles não olharam apenas para as piadas que as máquinas produziram; eles rastrearam todo o ciclo de vida da pesquisa, desde os dados brutos usados para treinar os modelos até os métodos usados para decidir se uma piada era realmente engraçada. O objetivo era determinar se os recursos disponíveis para os cientistas são verdadeiramente abertos para que outros os utilizem, se os dados cobrem a ampla variedade das culturas humanas e se a maneira como testamos esses sistemas é confiável. O que encontraram foi um campo em rápida transição, onde a tecnologia superou a transparência e o rigor necessários para sustentá-la.

O cenário da geração de humor mudou dramaticamente em apenas alguns anos. No passado, os pesquisadores dependiam de regras específicas, criadas manualmente, ou pequenos conjuntos de dados projetados para um único tipo de piada, como um trocadilho ou uma manchete. Hoje, o campo é dominado por grandes modelos de linguagem, que são programas de computador massivos treinados em enormes quantidades de texto da internet. Esses modelos podem gerar texto em muitos idiomas e estilos, e apareceram em setenta e três por cento dos estudos revisados. Em vez de escrever um programa para contar uma piada específica, os pesquisadores agora costumam dar a esses modelos uma instrução simples, ou "prompt", pedindo que sejam engraçados. Essa flexibilidade permitiu um surto de novos experimentos, com o número de estudos aumentando acentuadamente após 2023. No entanto, essa mudança criou um novo tipo de opacidade. Como o conhecimento do humor está agora espalhado pelas configurações internas do modelo, pelas instruções dadas a ele e pelos dados que ele recupera durante a geração, muitas vezes é impossível dizer exatamente de onde vem o humor ou de qual contexto cultural específico ele está extraindo.

Uma das descobertas mais impressionantes do levantamento é que, apesar da abundância de dados, é incrivelmente difícil encontrá-los, reutilizá-los ou verificá-los. Os pesquisadores verificaram a disponibilidade dos conjuntos de dados e recursos criados nesses setenta e quatro estudos e descobriram que apenas vinte e oito por cento estavam publicamente disponíveis para uso de outros. Ainda mais preocupante, apenas um estudo nomeou explicitamente a licença legal que rege como seus dados podem ser usados. No mundo da pesquisa científica, isso é como publicar uma receita, mas recusar-se a listar os ingredientes ou as regras para compartilhar o prato. Quando os pesquisadores olharam para os poucos recursos que foram liberados, descobriram que nenhum deles possuía um endereço permanente e imutável na internet, conhecido como identificador persistente. Isso significa que os links para os dados podem quebrar e, uma vez que um link é quebrado, os dados estão efetivamente perdidos. Sem licenças claras e locais estáveis, outros cientistas não podem reproduzir os resultados ou construir sobre o trabalho, o que retarda o progresso e torna difícil saber se um sistema é verdadeiramente eficaz ou apenas sortudo.

O levantamento também revelou uma lacuna significativa entre as línguas faladas pelas pessoas que os sistemas pretendem servir e as línguas usadas para construí-los. Mais da metade dos estudos focou exclusivamente no inglês, embora os pesquisadores afirmassem que seus sistemas poderiam funcionar em diferentes culturas. Embora houvesse estudos envolvendo chinês, espanhol, japonês e outros idiomas, muitos destes dependiam da tradução de piadas em inglês em vez de coletar o humor que seria naturalmente criado por falantes nativos. Esta é uma distinção crítica porque o humor está profundamente ligado à cultura; uma piء que depende de um evento histórico específico ou de um costume local não pode simplesmente ser traduzida para funcionar em outro lugar. Os pesquisadores descobriram que apenas quatro estudos avaliaram diretamente se o humor gerado era culturalmente apropriado, utilizando avaliadores que realmente pertenciam à comunidade alvo. Na maioria dos outros casos, os pesquisadores assumiram que, se um falante nativo achasse engraçado, seria culturalmente seguro, sem realmente testar sensibilidades ou tradições culturais específicas.

Quando se trata de julgar se um computador contou uma piada com sucesso, os métodos usados são frequentemente inconsistentes e, às vezes, enganosos. O padrão ouro para medir o humor sempre foi o julgamento humano, e o levantamento confirmou que a avaliação humana ainda é o método mais comum, utilizado em oitenta e quatro por cento dos estudos. No entanto, a forma como essas avaliações são conduzidas varia drasticamente. Alguns estudos usam um pequeno grupo de estudantes, enquanto outros usam comediantes profissionais ou grandes grupos de trabalhadores online. Menos de quarenta por cento dos estudos relataram o uso de testes estatísticos para garantir que seus resultados não fossem apenas uma casualidade, e muitos não explicaram como decidiram se uma piada era engraçada ou não. Em um esforimento para acelerar as coisas, alguns pesquisadores começaram a usar outros modelos de computador para atuar como juízes, mas o levantamento descobriu que esses juízes automatizados frequentemente discordam dos humanos. Eles podem classificar uma resposta como engraçada porque ela é nova ou surpreendente, mesmo que um humano a considerasse confusa ou ofensiva. Isso cria o risco de que os sistemas estejam sendo otimizados para agradar a outros computadores, em vez de divertir pessoas reais.

Os pesquisadores concluíram que o principal obstáculo no campo não é mais a falta de dados, mas sim a dificuldade de encontrar, reutilizar e verificar os dados que já existem. A mudança para modelos poderosos e de propósito geral não eliminou a necessidade de recursos de alta qualidade e bem documentados; tornou esses recursos ainda mais importantes. Para avançar, o campo precisa adotar melhores práticas para o compartilhamento de dados, incluindo licenças claras, links permanentes e descrições detalhadas de como os dados foram coletados e anotados. Acima de tudo, os pesquisadores precisam garantir que suas avaliações correspondam às afirmações que fazem. Se um sistema deveria ser engraçado para um grupo cultural específico, ele deve ser testado por pessoas desse grupo, usando critérios que reflitam seus valores e tradições. Até que essas fundações sejam fortalecidas, o progresso em fazer computadores contarem piadas permanecerá incerto, com ganhos que podem refletir as peculiaridades dos métodos de teste, em vez de uma verdadeira compreensão do humor humano.