📄 medicine

Evaluating Agreement Between Human Consensus and Large Language Model Ratings of Suicide Reporting

Este estudo demonstra que grandes modelos de linguagem podem classificar eficazmente artigos de notícias sobre suicídio utilizando a estrutura TEMPOS com concordância comparável à de avaliadores humanos, sugerindo que a IA é uma ferramenta viável para escalar o monitoramento da cobertura responsável de suicídios quando acompanhada por supervisão humana.

Autores originais: Andrew Sarkin, Bilal Malik, Elizabeth Doery

Publicado 2026-08-12

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Andrew Sarkin, Bilal Malik, Elizabeth Doery

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde as notícias agem como um grande espelho invisível. Às vezes, esse espelho reflete histórias de uma forma que ajuda as pessoas a encontrarem esperança e soluções; outras vezes, pode acidentalmente mostrar uma imagem distorcida que faz uma situação ruim parecer ainda pior. Os cientistas chamam isso de "Efeito Werther", onde certas formas de reportar sobre o suicídio podem, infelizmente, levar mais pessoas a se machucarem, e o "Efeito Papageno", onde histórias cuidadosas e esperançosas podem, na verdade, salvar vidas. Por causa disso, especialistas em saúde criaram um conjunto de "regras de trânsito" para jornalistas seguirem, como evitar manchetes sensacionalistas ou incluir linhas de ajuda. Mas aqui está a parte complicada: verificar se milhões de artigos de notícias seguem essas regras é como tentar contar cada grão de areia em uma praia à mão. Leva uma eternidade, é exaustivo e ler tantas histórias tristes pode ser emocionalmente pesado para as pessoas que estão fazendo a contagem. É aqui que a nova ideia de usar "juízes de IA" entra. Será que um programa de computador superinteligente, treinado para ler essas regras, poderia fazer a contagem para nós? Essa é a grande questão que este estudo se propôs a responder.

Os pesquisadores, uma equipe da Universidade da Califórnia, San Diego, decidiram colocar essa ideia à prova usando uma lista de verificação específica chamada TEMPOS (Ferramenta para Avaliação de Representações Midiáticas de Suicídio). Pense no TEMPOS como uma pontuação de 10 pontos onde um artigo de notícias ganha pontos por ser seguro e respeitoso, e perde pontos por ser sensacionalista ou perigoso. Para ver se os computadores podiam jogar esse jogo tão bem quanto os humanos, eles reuniram 42 histórias reais sobre mortes por suicídio. Eles então alinharam duas equipes de juízes: uma equipe de sete especialistas humanos treinados e uma equipe de cinco modelos de IA diferentes (os "cérebros" por trás de ferramentas como o ChatGPT, Grok e outros).

Os humanos e as IAs leram as mesmas histórias e deram suas notas de forma independente, sem conversar entre si. Primeiro, os pesquisadores verificaram o quão bem os humanos concordavam uns com os outros. Eles descobriram que, embora um único juiz humano pudesse ver as coisas de forma um pouco diferente de outro, quando calculavam a média de todos os sete humanos, eles criavam uma pontuação "Padrão de Ouro" muito estável (que eles chamaram de HumanGold). Isso é como ter um painel de sete críticos gastronômicos; um pode amar o sal, outro pode odiar, mas a opinião média deles é geralmente um gosto muito confiável do prato.

Em seguida, eles perguntaram: "O quão perto os juízes de IA chegaram do HumanGold?" Os resultados foram surpreendentemente bons. Os modelos de IA individuais mostraram uma concordância de "moderada a forte" com a equipe humana. Um modelo, chamado Grok, foi particularmente perspicaz, combinando com o consenso humano quase tão bem quanto os melhores juízes humanos. Mas o verdadeiro truque de mágica aconteceu quando os pesquisadores combinaram os três melhores modelos de IA em uma única equipe de "super-juiz", que eles apelidaram de AISilver. Esta equipe combinada de IA coincidiu com o consenso humano com uma correlação de 0,797, o que é quase tão bom quanto o melhor modelo de IA individual.

No entanto, o estudo também encontrou alguns sinais de "atenção". A IA (e até os humanos) foram muito melhores em detectar coisas concretas e fáceis de ver, como "O artigo incluiu um número de telefone para ajuda?" ou "O artigo descreveu o método de suicídio?". Estas são como identificar um carro vermelho em um estacionamento; ele está lá ou não está. A IA teve mais dificuldade com as partes "elásticas" e interpretativas da pontuação, como "O artigo tornou o suicídio glamoroso?" ou "A linguagem foi sensacionalista?". Estas são como tentar julgar o clima de uma música; é muito mais difícil para um computador (e até para os humanos) concordar perfeitamente sobre esses sentimentos. Além disso, os pesquisadores notaram que os modelos de IA às vezes davam pontuações que eram um pouco altas demais em média, como um professor que é um pouco generoso demais com notas A.

Então, qual é o veredito final? O artigo sugere que a IA ainda não é uma substituta perfeita para os humanos, mas é uma "assistente" muito promissora. Ela não pode fazer o julgamento final e definitivo por conta própria, especialmente nas partes emocionais e complicadas da história. Mas, se você usar uma equipe de modelos de IA (como a equipe AISilver) para fazer o trabalho pesado de escanear milhares de artigos, e depois tiver uma pequena equipe de humanos para verificar os resultados ou lidar com os casos complicados, isso pode mudar o jogo. Essa abordagem pode ajudar a monitorar a cobertura de notícias em uma escala massiva sem esgotar os especialistas humanos, garantindo que o espelho das notícias reflita histórias de uma forma que proteja e ajude, em vez de prejudicar. O estudo conclui que, embora não devamos confiar cegamente na IA, combinar o uso de supervisão humana com ela pode ser a chave para manter a reportagem sobre suicídio segura e responsável na era digital.

Resumo Técnico: Avaliando a Concordância entre o Consenso Humano e as Classificações de Modelos de Linguagem de Grande Escala sobre a Reportagem de Suicídio

Definição do Problema
A reportagem responsável sobre suicídio é uma estratégia crítica de saúde pública, pois a cobertura pode tanto exacerbar o comportamento suicida (o "Efeito Werther") quanto promover a prevenção (o "Efeito Papageno"). Embora organizações como a Organização Mundial da Saúde tenham emitido diretrizes detalhadas de reportagem, monitorar a adesão em escala é proibitivamente difícil. A codificação manual de conteúdo usando a Ferramenta para Avaliação de Representações Midiáticas de Suicídio (TEMPOS) é demorada, exige treinamento especializado e impõe um fardo emocional cumulativo aos avaliadores humanos expostos a conteúdos angustiantes. Este estudo aborda a lacuna no monitoramento escalável investigando se os Modelos de Linguagem de Grande Escala (LLMs) podem classificar de forma confiável artigos de notícias focados em incidentes usando a estrutura TEMPOS com concordância comparável à de avaliadores humanos treinados.

Metodologia
Os pesquisadores conduziram um estudo de confiabilidade e concordância envolvendo 42 artigos de notícias em língua inglesa dos Estados Unidos descrevendo incidentes específicos de suicídio. O estudo utilizou o instrumento TEMPOS, que operacionaliza as recomendações de reportagem de suicídio em 10 domínios pontuáveis (ex: descrição do método, inclusão de recursos de prevenção, glamorização) classificados em uma escala ordinal (0–2), resultando em uma pontuação total de 0–20.

Avaliadores: O estudo empregou 7 avaliadores humanos treinados e 5 LLMs distintos (ChatGPT 5.3, Claude Opus 4.7, Grok 4.3, Gemini 3.1 Pro e DeepSeek-V3).
Procedimento: Os avaliadores humanos passaram por treinamento padronizado na rubrica TEMPOS. Os LLMs foram instruídos com um protocolo padronizado para ler artigos completos e atribuir pontuações para todos os 10 domínios, fornecendo justificativas breves e citações como evidência. Para garantir a robustez, os artigos foram processados em lotes ao longo de vários meses, e os LLMs foram avaliados em duas fases: uma execução inicial e uma execução final utilizando as versões mais atuais dos modelos disponíveis até 28 de abril de 2026.
Benchmarks:
- HumanGold: Definido como a pontuação média total TEMPOS entre todos os avaliadores humanos para cada artigo, servindo como o benchmark de consenso humano.
- AISilver: Uma pontuação de IA agregada calculada pela média das pontuações totais dos modelos de IA com melhor desempenho (selecionados com base na correlação com o HumanGold e análise Leave-One-Rater-Out).
Análise Estatística: A concordância foi quantificada usando Coeficientes de Correlação Intraclasse (ICCs) com um modelo de efeitos aleatórios de dois caminhos (acordo absoluto). Tanto a confiabilidade de avaliador único (ICC(2,1)) quanto a de avaliador médio (ICC(2,k)) foram calculadas. O estudo também empregou análise Leave-One-Rater-Out (LORO) para avaliar a estabilidade e calculou correlações de Pearson e viés médio entre modelos de IA individuais e o HumanGold.

Principais Resultados

Confiabilidade: A confiabilidade de avaliador único foi moderada (ICC(2,1) = 0,532), enquanto a confiabilidade de avaliador médio entre todos os 12 avaliadores (humanos e IA combinados) foi excelente (ICC(2,k) = 0,932). Isso confirma que o agrupamento de classificações melhora significativamente a estabilidade.
IA vs. Consenso Humano: Modelos de IA individuais demonstraram correlações de moderadas a fortes com o HumanGold, variando de $r = 0,489$ (DeepSeek) a $r = 0,812$ (Grok).
Desempenho Agregado: O painel AISilver inicial (ChatGPT, Claude, Gemini) mostrou uma correlação forte com o HumanGold ( $r = 0,809$ ). Na configuração de classificação atualizada, um novo painel AISilver (ChatGPT, Claude, Grok) alcançou $r = 0,797$ . Embora o Grok tenha mostrado a maior correlação individual no conjunto atualizado ( $r = 0,812$ ), os intervalos de confiança de bootstrap indicaram que seu desempenho foi comparável ao escore agregado do AISilver, em vez de ser definitivamente superior.
Viés: Todos os LLMs tenderam a superestimar as pontuações em comparação com o HumanGold. O Grok exibiu o maior viés médio (superestimando em 2,39 pontos), enquanto o Claude apresentou o menor viés.
Concordância ao Nível de Item: A confiabilidade foi maior para itens concretos e observáveis, como a inclusão de recursos de prevenção (T10), descrição do método de suicídio (T4) e notas de suicídio (T5). Por outro lado, a concordância foi menor para domínios interpretativos que exigem julgamento, como glamorização (T9), especulação (T2) e enquadramento de fatores de risco (T7).

Principais Contribuições

Validação de IA para Monitoramento de Reportagem de Suicídio: O estudo fornece evidência empírica de que os LLMs podem alinhar-se ao consenso humano treinado ao aplicar a estrutura TEMPOS, sugerindo que a IA é uma ferramenta plausível para a vigilância em larga escala da reportagem de suicídio.
Desenvolvimento da Estrutura HumanGold/AISilver: Os autores introduzem uma metodologia para estabelecer um benchmark de consenso humano (HumanGold) e um escore de IA agregado (AISilver). Esta estrutura aborda a instabilidade do modelo e o desvio de versão ao alavancar o consenso de múltiplos modelos em vez de depender de um único avaliador.
Análise Granular do Desempenho da Rubrica: A pesquisa identifica domínios específicos do TEMPOS onde a IA e os avaliadores humanos concordam (fatos concretos) versus onde divergem (julgamentos interpretativos), oferecendo insights para o refinamento tanto dos prompts de IA quanto dos protocolos de treinamento humano.
Escalabilidade e Redução do Fardo Emocional: O estudo destaca o potencial da IA para mitigar os fardos emocionais e logísticos associados ao monitoramento contínuo de conteúdos angustiantes relacionados ao suicídio.

Significância e Alegações
O artigo afirma que a IA não deve ser vista como um substituto para o julgamento humano, mas como uma "ferramenta de triagem alinhada ao consenso" capaz de apoiar o monitoramento contínuo e em larga escala. Os autores sustentam que, embora as classificações de IA não devam ser tratadas como julgamentos definitivos, elas oferecem um caminho prático para expandir o feedback sobre a reportagem de incidentes de suicídio, particularmente quando acompanhadas de supervisão humana e amostragem de auditoria.

O estudo enfatiza que o objetivo não é fazer com que a IA supere os humanos, mas sim alcançar concordância suficiente com o consenso humano (HumanGold) para ser operacionalmente útil para o monitoramento de baixo risco. As descobertas sugerem que uma abordagem de IA agregada (AISilver) fornece uma estratégia de estabilidade contra a volatilidade das versões individuais dos modelos, tornando-a um componente viável de um fluxo de trabalho híbrido humano-IA para vigilância em saúde pública. Os autores concluem que o uso responsável dessas ferramentas, fundamentado em transparência e salvaguardas, poderia auxiliar significativamente os esforços de prevenção do suicídio ao permitir um feedback mais eficiente para jornalistas.

Mais como este