A Multi-Model, Multi-Domain Benchmark of Large Language Model Agreement with Humans and with Each Other in Sentiment Classification
Este artigo apresenta um benchmark multidomínio avaliando cinco grandes modelos de linguagem, um léxico baseado em regras e um transformer supervisionado contra anotações humanas, revelando que, embora modelos de alto nível como Claude Opus 4.7 e GPT-5.5 alcancem um forte alinhamento com humanos, persiste uma discordância significativa entre os modelos e com os rótulos humanos — particularmente em textos informais — demonstrando que a seleção do modelo impacta materialmente os resultados da classificação de sentimento.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo dos computadores que leem e compreendem a linguagem, existe uma tarefa tão antiga quanto a própria internet: descobrir se um texto é feliz, triste ou apenas está declarando um fato. Isso é chamado de análise de sentimento. Durante anos, as pessoas usaram essas ferramentas para prever como o mercado de ações reagiria a um relatório de notícias, para ver se os clientes estão irritados com um produto ou para acompanhar o humor público durante uma crise de saúde. Recentemente, chegou uma nova geração desses programas de computador, conhecidos como modelos de linguagem de grande escala. Estes são os mesmos tipos de sistemas que podem escrever histórias, responder perguntas e manter conversas. Como são muito bons em entender a linguagem humana, muitas pessoas começaram a usá-los para fazer o trabalho de classificar textos por emoção, esperando substituir o trabalho lento e caro de revisores humanos por um único comando de computador.
Mas há um problema com essa nova abordagem. Assim como pessoas diferentes podem discordar se uma crítica de cinema é sarcástica ou sincera, esses diferentes programas de computador também podem não concordar entre si. Um programa pode chamar uma frase de "positiva", enquanto outro chama a exata mesma frase de "negativa". Se um banco ou um hospital depender dessas ferramentas para tomar decisões importantes, importa profundamente qual deles eles escolhem. Até agora, ninguém havia verificado sistematicamente o quão bem esses diferentes programas concordam entre si, ou com que frequência concordam com juízes humanos, quando todos estão olhando para o mesmo texto.
Um pesquisador chamado Aneesh K Sajan decidiu resolver essa questão realizando um experimento massivo e controlado. Ele reuniu cinco dos modelos de linguagem mais avançados atualmente disponíveis de quatro empresas de tecnologia diferentes, juntamente com duas ferramentas mais antigas e simples que servem como uma base de comparação. Ele alimentou-os com um total de 8.872 frases extraídas de cinco conjuntos de dados diferentes. Essas frases vieram de uma mistura de fontes: relatórios financeiros formais, postagens casuais de redes sociais, críticas de filmes e chamadas de resultados financeiros. O objetivo era ver se os computadores consegravam identificar corretamente a emoção no texto em comparação com a forma como os humanos os haviam rotulado e, mais importante, ver com que frequência os computadores concordavam uns com os outros.
Os resultados revelaram uma divisão clara de desempenho. Dois modelos, um de uma empresa chamada Anthropic e outro da OpenAI, destacaram-se como os mais precisos. Quando esses dois analisaram textos financeiros formais, eles corresponderam aos julgamentos humanos quase perfeitamente. Eles também concordaram entre si em quase 90 por cento das frases analisadas. Um terceiro modelo da OpenAI ficou logo atrás, formando um grupo coeso de ferramentas de alto desempenho que geralmente viam o mundo da mesma maneira. No entanto, um modelo do Google, que foi projetado para "pensar" através de problemas antes de responder, teve um desempenho surpreendentemente ruim. Ele errou o sentimento com tanta frequência que seus resultados foram mal melhores do que um palpite aleatório. O pesquisador testou uma teoria específica para ver se essa falha ocorria porque o modelo do Google estava gastando tempo demais pensando em questões simples, um fenômeno conhecido como "overthinking" (pensar demais). Ele forçou o modelo a responder com um tempo de pensamento muito menor, mas o desempenho ruim persistiu. Isso descartou a ideia de que o modelo estava simplesmente superanalisando a tarefa; a falha era inerente à forma como esse modelo específico estava se comportando nessa configuração.
Um outro modelo de código aberto, que pode ser executado no próprio computador de um pesquisador em vez de em um servidor na nuvem, teve um desempenho moderado. Não era tão preciso quanto os principais modelos comerciais, mas era significativamente melhor do que as ferramentas baseadas em regras que haviam sido usadas por anos. O estudo também descobriu que o tipo de texto importava muito. Todos os modelos foram muito melhores em entender a escrita formal e profissional do que em entender a linguagem casual e informal, como tweets ou mensagens de texto. Em textos informais, até os melhores modelos caíram para um nível de concordância que era apenas "moderado", o que significa que ainda discordavam de humanos e entre si em um grande número de frases.
Talvez a descoberta mais impressionante tenha sido o quão pouco os modelos realmente concordavam entre si. Quando o pesquisador observou todo o grupo de seis ferramentas, todas deram exatamente a mesma resposta em apenas cerca de 14 a 24 por cento das frases. Nas frases restantes, não havia uma maioria clara. Isso significa que, para uma enorme parte do texto que as pessoas analisam todos os dias, o resultado final depende inteiramente de qual programa de computador você está usando. Se um analista financeiro usa um modelo para ler um relatório e outro analista usa um modelo diferente, eles podem chegar a conclusões opostas sobre a mesma notícia.
O estudo conclui que, embora essas novas ferramentas sejam poderosas, elas não são intercambiáveis. A escolha do modelo não é um detalhe técnico menor; é uma decisão que altera os próprios dados. Para tarefas envolvendo documentos financeiros formais, os principais modelos são confiáveis e consistentes. Mas para textos informais, ou para tarefas onde a diferença entre positivo e negativo é sutil, a discordância entre os modelos é um sinal de incerteza genuína. Nesses casos, o pesquisador sugere que confiar em um único computador é arriscado. Em vez disso, a melhor abordagem é usar múltiplos modelos juntos ou ter um humano revisando as frases onde os computadores discordam, garantindo que a decisão final não seja apenas um produto de qual software foi escolhido.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.