Context-Aware LLM Evaluators for Content Moderation Judgments in a Low-Resource Setting

Nas movimentadas praças digitais da internet, onde milhões de comentários são postados todos os dias, surgiu uma crise silenciosa de escala. Os moderadores humanos, os profissionais treinados que antes liam cada postagem para decidir o que fica e o que sai, estão sobrecarregados. O volume colossal de conteúdo tornou impossível para as pessoas acompanharem, embora as regras para o que constitui um post prejudicial ou fora de tópico sejam frequentemente sutis, dependendo fortemente da conversa específica e das normas da comunidade. Para resolver isso, pesquisadores recorreram a modelos de linguagem de grande escala, um tipo de inteligência artificial capaz de compreender e gerar texto semelhante ao humano. Esses modelos estão sendo cada vez mais solicitados para atuar como juízes, atribuindo rótulos a postagens e tomando decisões de moderação que antes eram domínio exclusivo dos humanos. No entanto, uma questão crítica permanece: pode uma máquina realmente compreender a nuance de uma discussão acalorada online, ou ela precisa ver o quadro completo para fazer um julgamento justo?

Essa questão levou uma equipe de pesquisadores de universidades austríacas a investigar o quão bem esses juízes artificiais performam quando recebem diferentes quantidades de informação. Eles se concentraram em um ambiente específico e desafiador: as seções de comentários de um jornal de língua alemã. Nesse cenário, decidir se um comentário é fora de tópico, discriminatório ou simplesmente um relato pessoal requer mais do que apenas ler as palavras na tela; requer a compreensão do contexto do artigo ao qual ele responde e do histórico da conversa da qual faz parte. Os pesquisadores queriam saber se fornecer mais contexto à inteligência artificial — como o artigo de notícias completo ou toda a cadeia de respostas — ajudaria a mimetizar as decisões de especialistas humanos. Eles também testaram uma abordagem diferente: em vez de alimentar o modelo com mais texto para ler, poderiam mostrar a ele exemplos de como humanos haviam julgado comentários semelhantes no passado?

Para encontrar as respostas, a equipe utilizou uma coleção massiva de mais de um milhão de posts do jornal austríaco Der Standard, que incluía um conjunto menor e cuidadosamente anotado de quase 12.000 comentários que haviam sido avaliados por moderadores humanos profissionais. Eles testaram três modelos diferentes de inteligência artificial de tamanhos variados, indo de um modelo menor e mais rápido a um muito maior e mais complexo. Para cada modelo, realizaram uma série de experimentos onde alteravam a informação fornecida no prompt. Em alguns casos, o modelo via apenas o comentário em questão. Em outros, via o comentário mais o título do artigo, o texto completo do artigo ou todo o tópico de respostas anteriores. Eles também testaram um método onde o modelo era mostrado dois exemplos curtos, recuperados de como humanos haviam julgado comentários semelhantes anteriormente, um que foi mantido online e outro que foi removido.

Os resultados revelaram um quadro matizado de como esses juízes digitais pensam. Os pesquisadores descobriram que o contexto ajuda, mas não da maneira que se poderia esperar. Simplesmente despejar mais texto no sistema não garante melhores resultados. Na verdade, para certos tipos de julgamentos, como detectar linguagem discriminatória ou insultos inapropriados, adicionar o texto completo da notícia na verdade confundiu o modelo e piorou seu desempenho. O modelo teve um desempenho melhor quando viu o histórico da conversa — as respostas e o fluxo da discussão — porque é ali que o verdadeiro significado de um comentário muitas vezes reside. No entanto, para outras categorias, como decidir se um comentário é fora de tópico, ver o artigo original era essencial. Não havia uma única "melhor" quantidade de informação que funcionasse para todas as situações; a quantidade certa de contexto dependia inteiramente do que o modelo estava sendo solicitado a julgar.

Talvez a descoberta mais surpreendente tenha sido que mostrar ao modelo decisões humanas passadas era tão eficaz quanto mostrar o artigo completo e o histórico da conversa, mas com uma grande vantagem: era muito mais curto e rápido. Quando os pesquisadores deram ao modelo dois exemplos curtos de como humanos haviam julgado comentários semelhantes no passado, o modelo performou quase tão bem quanto quando lhe foi dado o artigo de notícias inteiro e o tópico de conversa completo. Este método de recuperação também foi mais confiável; melhorou o desempenho do modelo em todas as categorias, enquanto adicionar mais texto às vezes prejudicava o desempenho. Acontece que ver como um humano havia resolvido um problema semelhante no passado era um atalho poderoso que permitia ao modelo aprender os padrões da comunidade sem precisar ler páginas de texto de fundo.

O tamanho do modelo de inteligência artificial provou ser o fator mais crítico de todos. O maior modelo, com 31 bilhões de parâmetros, foi o único capaz de igualar consistentemente o limiar de julgamento dos especialistas humanos, fazendo decisões equilibradas que não eram nem muito estritas nem muito lenientes. Os modelos menores tiveram dificuldades significativas. O menor modelo, com apenas 1 bilhão de parâmetros, frequentemente falhava em melhorar com mais contexto ou exemplos, e às vezes performava pior com eles. O modelo de tamanho médio podia ser feito para sinalizar quase todos os comentários como problemáticos, capturando quase tudo, mas também gerando muitos alarmes falsos. Isso sugere que, embora modelos menores possam ser úteis como um primeiro filtro para capturar questões óbvias, eles ainda não estão prontos para substituir o julgamento humano por conta própria. Somente os maiores modelos demonstraram a capacidade necessária para compreender as fronteiras sutis das normas comunitárias.

Quando comparados a sistemas computacionais anteriores que foram treinados especificamente nesses dados, a nova abordagem mostrou uma força distinta nas áreas que mais importam para a segurança. Os juízes artificiais foram significativamente melhores em identificar os posts raros e prejudiciais que levam à remoção, como conteúdo discriminatório ou fora de tópico, superando sistemas antigos que haviam sido treinados em milhares de exemplos. No entanto, os sistemas antigos treinados ainda eram melhores em identificar conteúdo construtivo, como relatos pessoais ou pontos bem argumentados. Essa diferença destaca uma realidade fundamental: a nova abordagem funciona melhor onde os dados de treinamento humano são escassos e caros de produzir. Para os casos raros e difíceis que definem a segurança de uma comunidade, o juiz artificial, guiado por alguns exemplos inteligentes, pode fazer um trabalho melhor do que um sistema treinado com dados limitados. Mas para interações comuns e positivas, os métodos antigos ainda mantêm uma vantagem.

Em última análise, o estudo sugere que o futuro da moderação de conteúdo não é sobre substituir humanos por uma única máquina perfeita, mas sobre encontrar as ferramentas certas para o trabalho certo. A pesquisa indica que, para redações de notícias e comunidades online, a melhor estratégia envolve usar os maiores modelos disponíveis e confiar em um método que mostre a eles como humanos julgaram situações semelhantes no passado, em vez de sobrecarregá-los com texto infinito. Essa abordagem permite uma moderação escalável e confiável mesmo em idiomas e comunidades onde não há um banco de dados massivo de exemplos rotulados para treinamento. Ela oferece um caminho à frente onde a tecnologia pode lidar com o volume da internet enquanto respeita a natureza sutil e dependente de contexto da conversa humana, desde que o modelo certo seja escolhido e a informação certa seja fornecida.