💬 NLP

Measuring AI "Slop" in Text

Este artigo aborda a falta de uma definição padrão para o "slop" de IA ao desenvolver uma taxonomia e dimensões interpretáveis por meio de entrevistas com especialistas, demonstrando que, embora os julgamentos binários sejam subjetivos, eles se correlacionam com fatores latentes como coerência e relevância para permitir uma melhor avaliação de textos gerados por IA.

Autores originais: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Publicado 2026-01-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Chantal Shaib, Tuhin Chakrabarty, Diego Garcia-Olano, Byron C. Wallace

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que a internet é um mercado gigante e movimentado. Por muito tempo, vendedores (humanos) vendiam produtos frescos e artesanais. Mas recentemente, uma inundação de itens baratos e produzidos em massa chegou. Eles parecem aceitáveis de longe, mas, de perto, parecem frágeis, repetitivos e vazios. No mundo da IA, as pessoas começaram a chamar esse lixo gerado por IA de baixa qualidade de "slop" (algo como "papa" ou "lixo digital").

Este artigo é como uma equipe de especialistas tentando construir um manual de controle de qualidade para esse slop. Eles querem responder a duas grandes perguntas: O que exatamente faz um texto parecer "slop"? e Podemos construir uma máquina para detectá-lo automaticamente?

Aqui está a divisão de suas descobertas, usando analogias simples:

1. Definindo o "Slop" (A Taxonomia)

Os pesquisadores não apenas adivinharam o que é slop. Eles entrevistaram 19 especialistas — escritores, jornalistas, filósofos e cientistas de IA — para obter uma definição clara. Eles perceberam que o slop não é apenas uma coisa; é uma mistura de três problemas principais, como uma refeição ruim que é salgada demais, insossa demais e servida em um prato sujo.

Eles organizaram esses problemas em um checklist chamado Taxonomia:

Utilidade da Informação (A "Tigela Vazia"):
- Densidade: O texto é cheio de palavras, mas tem pouquíssima substância real. É como uma sopa que é 90% água e 10% caldo.
- Relevância: O texto fala sobre coisas que não importam para a pergunta feita. É como pedir um hambúrguer e receber uma palestra sobre a história das vacas.
Qualidade da Informação (Os "Ingredientes Estragados"):
- Factualidade: O texto inventa coisas ou erra fatos (alucinações).
- Viés: O texto soa robótico demais ou neutro demais quando deveria ter uma voz humana, ou assume uma postura estranha e unilateral.
Qualidade de Estilo (A "Má Apresentação"):
- Repetição e Padronização: A IA continua dizendo a mesma coisa ou usa a exata mesma estrutura de frase repetidamente, como um disco riscado.
- Verbocidade: Usa 100 palavras para dizer o que poderia ser dito em 10. É "palavroso" sem ser "sábio".
- Coerência e Tom: As ideias não fluem logicamente, ou o tom parece estranho (como um robô tentando contar uma piada).

2. O Teste Humano (Anotando o Slop)

Para ver se o checklist deles funcionava, eles contrataram editores profissionais para ler 150 artigos de notícias e 100 passagens de Q&A (Perguntas e Respostas). Eles pediram aos editores que destacassem partes específicas "desleixadas" do texto.

A Surpresa:
Nem mesmo os especialistas concordavam sempre sobre o que era "slop".

O Problema da Subjetividade: Um editor pode achar que um texto é "slop" porque é verboso demais, enquanto outro acha que está bom.
A Conexão: No entanto, quando os editores realmente concordavam que um texto era slop, geralmente era porque o texto carecia de relevância (não respondia ao comando) ou densidade (era muito vazio).
A Diferença de Domínio:
- Em Notícias, o slop era principalmente sobre estilo e tom ruins (formal demais, muito repetitivo).
- Em Q&A, o slop era principalmente sobre errar fatos ou ser estruturalmente bagunçado.

3. As Máquinas Conseguem Detectar? (A Verificação Automática)

Os pesquisadores tentaram ver se as ferramentas de IA atuais poderiam sinalizar esse slop automaticamente, sem ajuda humana. Eles testaram três coisas:

Métricas Matemáticas Padrão: Eles usaram ferramentas matemáticas antigas (como contar o comprimento das palavras ou verificar palavras repetidas).
- Resultado: Essas ferramentas eram razoáveis para detectar textos "verbosos", mas falharam em capturar as sutilezas como "isso é relevante?" ou "isso faz sentido?".
Modelos de Recompensa de IA: Eles usaram modelos de IA avançados treinados para avaliar a qualidade da escrita.
- Resultado: Esses modelos conseguiam distinguir entre escrita "boa" e "ruim" de forma geral, mas não conseguiam identificar especificamente o "slop" conforme definido pelos humanos. Eles perderam a nuance.
Juízes de IA (LLMs como Juízes): Eles pediram a modelos de IA poderosos (como o GPT-5 e outros) para ler o texto e dizer: "Isso é slop?" e "Destaque as partes ruins".
- Resultado: Eles falharam miseravelmente. Os juízes de IA foram terríveis nisso. Eles frequentemente ignoravam o slop por completo ou destacavam as partes erradas. Eles tendiam a focar apenas na "verbosidade" e ignoravam todo o resto.

A Conclusão Final

O artigo conclui que, embora tenhamos um checklist definido por humanos para o que o "slop" representa (é principalmente sobre ser irrelevante, vazio ou repetitivo), ainda não temos um robô confiável que possa encontrá-lo automaticamente.

Atualmente, se você quiser saber se um texto é "slop", ainda precisa de um humano para lê-lo e usar seu julgamento. As ferramentas automáticas são como um detector de metais que só encontra pedras grandes, mas perde as pequenas joias valiosas (ou os pequenos e irritantes pedaços de lixo) escondidos na areia.

O que o artigo NÃO afirma:

Não diz que devemos banir a escrita por IA.
Não afirma que este método corrigirá a IA no futuro (apenas diz que é um desafio aberto).
Não sugere o uso disso para decisões médicas ou jurídicas.
Foca estritamente em definir o problema e mostrar que as soluções automatizadas atuais ainda não estão prontas para resolvê-lo.

Resumo Técnico: Medindo o "Slop" (Lodo) em Texto

Definição do Problema
O termo "slop" (lodo) surgiu para descrever conteúdo genérico e de baixa qualidade gerado por Grandes Modelos de Linguagem (LLMs), caracterizado por afirmações não factuais, baixa densidade de informação e peculiaridades estruturais. Apesar da ubiquidade do termo no discurso público e de sua relevância para o uso crescente de IA em tarefas de escrita e coleta de informações, não há uma definição acordada ou um método padronizado para medir o "slop". Os métodos atuais de detecção de texto de IA focam em distinguir origens humanas de máquinas, enquanto o "slop" é uma métrica de qualidade aplicável a qualquer fonte de texto. Além disso, as métricas de qualidade de texto existentes (ex: BLEU, ROUGE) e os modelos de avaliação automática frequentemente falham em capturar os déficits estilísticos e substantivos específicos que constituem o "slop", como vagueza, falta de perspectiva ou estruturação baseada em modelos (templates).

Metodologia
Os autores empregam uma abordagem de múltiplos estágios para conceituar, operacionalizar e avaliar o "slop":

Desenvolvimento de Taxonomia: Por meio de entrevistas com 19 especialistas em PLN, escrita, jornalismo, linguística e filosofia, os autores derivaram uma definição de trabalho e uma taxonomia para o "slop". Utilizando análise de conteúdo qualitativa e codificação dedutiva, eles mapearam as definições dos especialistas para conceitos mensuráveis, categorizando-os em três temas:
- Utilidade da Informação: Densidade (conteúdo substantivo em relação ao comprimento) e Relevância (alinhamento com a tarefa/prompt).
- Qualidade da Informação: Facticidade (precisão/alucinações) e Viés (presença/ausência de subjetividade necessária).
- Qualidade de Estilo: Estrutura (repetição, uso de templates), Coerência, Tom, Fluência, Verbosidade e Complexidade de Palavras.
Coleta e Anotação de Dados: O framework foi validado usando anotações em nível de segmento (span-level) em dois conjuntos de dados:
- Artigos de Notícias: 150 artigos (escritos por humanos vs. gerados por IA via Claude 3.5, GPT-4o, o1-pro) de Russell et al. (2025).
- QA com Recuperação Aumentada (RAG): 100 passagens do MS MARCO com respostas geradas por Llama-4, OLMo-2, Mistral-7B, GPT-4o e Gemma-2.
- Editores profissionais de texto anotaram os segmentos para códigos específicos de "slop". A concordância entre anotadores foi medida usando Cohen's $\kappa$ , Gwet's AC1 e Krippendorff's $\alpha_{MASI}$ .
Análise de Dimensões Latentes: Modelos de regressão logística foram ajustados para determinar quais códigos de segmentação anotados predizem julgamentos binários de "slop". O estudo analisou correlações entre esses julgamentos humanos e métricas automáticas.
Avaliação de Medição Automática: Os autores avaliaram a eficácia de:
- Modelos Lineares: Usando métricas de texto automáticas padrão (ex: razões de compressão, léxicos de subjetividade, escores de legibilidade) para predizer o "slop".
- Modelos de Recompensa: Testando o Modelo de Recompensa de Qualidade de Escrita (WQRM) contra os rótulos de "slop".
- LLM-as-a-Judge (LLM como Juiz): Utilizando prompts para GPT-5, Deepseek-V3 e o3-mini para identificar rótulos binários de "slop" e extrair segmentos de "slop" em configurações zero-shot e few-shot.

Principais Resultados

Subjetividade e Concordância: Julgamentos binários de "slop" são algo subjetivos, com anotadores mostrando concordância baixa a regular em rótulos de documentos totais ( $\kappa \approx -0.15$ a $0.29$). No entanto, a concordância melhora ao corrigir pela prevalência (AC1) e ao focar em códigos específicos. Códigos de Facticidade, Viés e Estrutura alcançaram anotação confiável ($AC1 > 0.5$), enquanto construtos cognitivamente exigentes como Coerência, Densidade e Relevância mostraram concordância moderada a desafiadora.
Validade Preditiva: O número de segmentos anotados de "slop" correlaciona-se fortemente com julgamentos gerais de "slop" ( $\rho \approx 0.63$ ). Entre os domínios, Relevância, Densidade e Tom foram os preditores mais fortes de um texto ser rotulado como "slop".
Especificidade de Domínio: A importância de dimensões específicas varia conforme a tarefa. Para artigos de notícias, a qualidade de estilo (Coerência, Tom) e a utilidade (Densidade, Relevância) são significativas. Para tarefas de QA, Facticidade e Estrutura são os principais motores dos julgamentos de "slop".
Falha dos Métodos Automáticos:
- Modelos Lineares: Embora os modelos lineares usando métricas automáticas disponíveis tenham alcançado um AUPRC aproximadamente o dobro da linha de base de prevalência (0.52 para Notícias, 0.55 para MS MARCO), eles são insuficientes para capturar totalmente o sinal. Notavelmente, 3 de 5 características significativas de "slop" (Relevância, Facticidade, Coerência) carecem de métricas automáticas confiáveis.
- Modelos de Recompensa: O WQRM alinha-se parcialmente com os rótulos de "slop", mas falha em capturar o conceito plenamente, mostrando baixa correlação com julgamentos binários de "slop" (0.15–0.25).
- Juízes LLM: LLMs capazes de raciocínio (GPT-5, o3-mini) falham em identificar o "slop" de forma confiável. Eles subestimam significativamente o rótulo de "slop" em comparação aos humanos (0.03–0.08 vs. 0.34) e têm dificuldade com a extração de segmentos (Precisão $\approx$ 0.08–0.14). Além disso, os LLMs tendem a representar excessivamente problemas de "Densidade" em suas justificativas, enquanto sub-representam Coerência, Tom e Viés.

Significância e Alegações
O artigo alega fornecer a primeira tentativa sistemática de caracterizar qualitativamente o "slop" em textos gerados por LLM através de uma taxonomia validada. Os autores argumentam que o "slop" é distinto da simples detecção de IA; é uma medida de qualidade que pode se aplicar à escrita humana, mas é particularmente prevalente em saídas de IA.

O estudo destaca que as práticas atuais de avaliação automática são insuficientes para medir o "slop". As métricas padrão falham em capturar se o texto é genuinamente útil ou bem escrito em relação aos déficits específicos identificados na taxonomia. Embora os autores demonstrem que um aumento nos problemas ao longo dos eixos identificados (Utilidade da Informação, Qualidade e Estilo) aumenta a probabilidade de um texto ser julgado como "slop", eles concluem que métodos totalmente automatizados e escaláveis para medir o "slop" permanecem um desafio aberto. A taxonomia proposta serve como um framework para guiar melhorias futuras em modelos de recompensa baseados em LLM e avaliação de qualidade, particularmente para tarefas subjetivas onde os julgamentos de preferência humana são críticos.

1. Definindo o "Slop" (A Taxonomia)

2. O Teste Humano (Anotando o Slop)

3. As Máquinas Conseguem Detectar? (A Verificação Automática)

A Conclusão Final

Mais como este