Toxicity Detection Should Measure Contextual Harm, Not Text-Intrinsic Badness

Este artigo de posição argumenta que a detecção de toxicidade deve migrar de tratar a toxicidade como uma propriedade intrínseca de texto isolado para medi-la como dano comunicativo contextual, introduzindo o Marco de Estresse Contextual (CSF) e o CSF-Eval para capturar melhor como violações de normas percebidas e o contexto social geram desorganização real.

O essencial

O Problema Central: A Armadilha da "Palavra Ruim"

Imagine que você é um segurança de uma boate. Sua função é impedir que as pessoas sejam grosseiras ou prejudiciais. Atualmente, a maioria dos seguranças automatizados (detectores de toxicidade de IA) funciona como um detector de metais em um aeroporto.

Se o detector de metais apitar, ele assume que há uma arma. Ele não se importa por que o metal está ali.

• Se você estiver segurando uma faca para cortar um bife, ele apita.
• Se você estiver segurando uma faca para ameaçar alguém, ele apita.
• Se você estiver segurando uma faca de brinquedo de um disfarce de Halloween, ele apita.

Os modelos de IA atuais agem exatamente como esse detector de metais. Eles escaneiam uma frase, encontram "palavras ruins" (como xingamentos ou insultos) e imediatamente a marcam como tóxica. Eles tratam as próprias palavras como o perigo, independentemente de quem as diz, de quem as ouve ou do que está acontecendo ao redor.

O artigo argumenta que essa é uma maneira falha de medir o dano. Apenas porque uma frase contém uma "palavra ruim" não significa que ela esteja realmente machucando alguém naquele momento específico.

A Solução Real: A Estrutura de "Estresse Contextual"

Os autores propõem uma nova maneira de pensar sobre toxicidade, chamada de Estrutura de Estresse Contextual (CSF).

Em vez de perguntar: "Esta frase contém palavras ruins?", eles perguntam: "Esta mensagem específica, para esta pessoa específica, nesta situação específica, causa estresse e quebra as regras do ambiente?"

Pense nisso como um porteiro humano que conhece o contexto:

• Cenário A: Dois amigos estão brincando. Um diz uma palavra que geralmente é um xingamento, mas eles a estão usando como um termo de afeto entre si. O porteiro humano vê que estão rindo e conhece a amizade. Veredito: Sem dano.
• Cenário B: Um estranho diz essa mesma palavra a um amigo em uma discussão pública. O porteiro humano vê o medo nos olhos do amigo. Veredito: Prejudicial.

O artigo afirma que a toxicidade não é uma propriedade das próprias palavras; é uma relação entre o falante, o ouvinte e a situação.

Por Que o Jeito Antigo Falha (Os "Falsos Alarmes" e os "Perigos Não Detectados")

Como a IA atual é como o detector de metais, ela comete dois grandes erros:

1. Falsos Positivos (Pegando os Inocentes): Ela proíbe discursos inofensivos porque contêm "palavras ruins".
   • Exemplo: Em algumas comunidades, as pessoas ressignificam palavras ofensivas para mostrar solidariedade. Se uma IA vê essa palavra, ela proíbe a postagem, silenciando uma comunidade que na verdade está se divertindo e se unindo.
2. Falsos Negativos (Perdendo o Perigo Real): Ela deixa passar discursos prejudiciais que não usam "palavras ruins".
   • Exemplo: Uma pessoa pode dizer: "Você é tão quieto, deve não ter nada inteligente a dizer", em um tom muito educado. Soa agradável, mas é um insulto cruel projetado para calar alguém. A IA não vê "palavras ruins" e deixa passar, enquanto a vítima se sente magoada.

O Novo Teste: Medindo "Estresse" em vez de "Maldade"

Os autores sugerem que paremos de tentar rotular uma frase como "Tóxica" ou "Não Tóxica" com uma única pontuação. Em vez disso, devemos medir Estresse e Violação de Normas.

• Violação de Normas: O falante quebrou as regras sociais deste grupo específico?
• Estresse: O ouvinte (ou o grupo) reagiu com raiva, medo ou retraimento?

Eles testaram essa ideia observando uma comunidade do Reddit chamada r/BlackPeopleTwitter. Eles compararam o que a IA considerou tóxico com o que as pessoas reais da comunidade reagiram.

• O Resultado: A IA e as pessoas frequentemente discordavam. A IA marcava piadas amigáveis como tóxicas, mas as pessoas riam. A IA deixou passar comentários sutis e mal-intencionados que as pessoas acharam dolorosos.
• A Lição: Você não pode julgar o dano apenas lendo o texto; você precisa ver como as pessoas reagem a ele.

A Proposta: Um Novo Boletim (CSF-Eval)

O artigo propõe uma nova maneira de testar e construir esses sistemas de IA, chamada CSF-Eval.

Em vez de dar à IA uma única nota (como "90% de precisão"), devemos pedir que ela decomponha seu raciocínio em cinco partes, como um relatório médico:

1. Risco do Texto: O texto parece perigoso por si só?
2. Violação de Normas: Ele quebra as regras deste grupo específico?
3. Estresse/Disrupção: Há evidências de que as pessoas estão chateadas ou discutindo?
4. Incerteza: "Não tenho informações suficientes para saber se isso é ruim." (A IA deve admitir quando está chutando).
5. Ação de Política: "Com base no acima, aqui está o que devemos fazer."

A Conclusão

O artigo conclui que precisamos parar de fingir que o dano está escondido dentro de uma frase esperando para ser encontrado.

O dano é criado quando uma mensagem é recebida em um contexto específico. Para construir espaços online mais seguros, precisamos de IAs que entendam a diferença entre uma piada entre amigos e uma arma em uma briga, em vez de apenas uma máquina que conta quantas "palavras ruins" há em um ambiente.

Resumo técnico

Resumo Técnico: A Detecção de Toxicidade Deve Medir o Dano Contextual, Não a "Maldade" Inerente ao Texto

1. Declaração do Problema

Os sistemas atuais de detecção de toxicidade baseiam-se em uma abstração falha: tratam a toxicidade como uma propriedade intrínseca de strings de texto isoladas ($y = f(x)$). Essa abordagem colapsa determinantes críticos do dano comunicativo — como o falante, o público, o histórico de interação, o cenário normativo e a recepção — em uma única previsão descontextualizada.

O artigo identifica duas falhas centrais resultantes dessa abstração:

• O Problema do Objeto: Não há uma definição consolidada de toxicidade. Comunidades legais, de plataformas e acadêmicas utilizam noções sobrepostas, mas não equivalentes (por exemplo, "odioso", "abusivo", "incivil"). Consequentemente, a mesma fala pode ser legalmente protegida, removível sob política ou rotulada tanto como tóxica quanto não tóxica, dependendo do conjunto de dados, tornando o progresso em benchmarks um indicador enganoso de segurança.
• O Problema do Proxy: Ao operacionalizar a toxicidade como um mapeamento texto-para-rótulo, os detectores falham em capturar o dano comunicativo situado. Isso leva a erros sistemáticos: supermarcação de linguagem dialetal ou recuperada (falsos positivos) e falha em detectar abuso codificado, pragmático ou dependente de contexto (falsos negativos). Além disso, esses sistemas são frágeis sob transformações que preservam o significado e ataques adversariais.

Os autores argumentam que a precisão em benchmarks com rótulos descontextualizados frequentemente reflete a capacidade de um modelo de aprender convenções de anotação específicas do conjunto de dados, e não sua capacidade de reduzir danos em ambientes reais e situados.

2. Metodologia e Estrutura: Estrutura de Estresse Contextual (CSF)

Para abordar essas questões, os autores propõem a Estrutura de Estresse Contextual (CSF), que reencena a toxicidade não como uma propriedade do texto, mas como uma relação contextual.

Definições Centrais

• Toxicidade: Definida como uma relação entre um ato comunicativo, um público interpretante e um cenário normativo, onde uma violação normativa percebida induz estresse ou perturbação.
• Fala Tóxica: Fala que induz estresse ou perturbação através de uma violação percebida de normas morais ou comunicativas aceitas dentro do contexto específico de interpretação.

Formulação Matemática

A estrutura modela um evento comunicativo como $e = (x, C, A)$, onde $x$ é o ato, $C$ é o contexto e $A$ é o público.

1. Violação Normativa Percebida ($\nu$): O grau em que um membro do público percebe o evento como violando normas relevantes. Isso é definido como violação percebida, não verdade moral objetiva.
2. Resposta de Estresse ($\sigma$): O estresse ou perturbação induzido no membro do público.
3. Toxicidade Individual ($\tau$): Uma função $g(\nu, \sigma)$ que combina violação percebida e estresse. A função é monótona em ambos os argumentos e atribui toxicidade próxima de zero se qualquer componente estiver ausente.
4. Toxicidade no Nível do Evento ($T$): Um agregado de toxicidades individuais através do público relevante, ponderado por fatores como exposição, relevância ou vulnerabilidade.

Estratégia de Medição

O artigo distingue entre risco intrínseco ao texto (pistas lexicais) e perturbação baseada na recepção (estresse observável). Para sistemas de PLN online, onde dados fisiológicos não estão disponíveis, a estrutura propõe o uso de proxies comportamentais para estresse, como escalonamento de respostas, retirada, mudanças de tom ou linguagem afetiva nas respostas.

3. Contribuições Principais

A. Reenquadramento Teórico

O artigo desloca o foco do campo da classificação de texto para a medição de dano contextual. Argumenta que o contexto não é meramente um recurso auxiliar para melhorar a precisão da previsão, mas é constitutivo da variável alvo. A toxicidade é uma propriedade emergente da interação entre texto, público e normas.

B. A Estrutura de Estresse Contextual (CSF)

A CSF fornece uma estrutura formal para separar:

• Pistas intrínsecas ao texto.
• Suposições contextuais.
• Características do público.
• Violação normativa percebida.
• Sinais de recepção/estresse.
• Incerteza.
• Regras de política.

C. CSF-Eval: Uma Nova Agenda de Avaliação

Os autores propõem o CSF-Eval, uma estrutura de avaliação que vai além da precisão de rótulo único. Exige que os sistemas emitam um vetor de medição $M(e) = (r_{text}, \hat{\nu}, \hat{\sigma}, u, \pi)$, representando:

• $r_{text}$: Risco intrínseco ao texto.
• $\hat{\nu}$: Violação normativa percebida estimada.
• $\hat{\sigma}$: Estresse/perturbação estimado.
• $u$: Incerteza sob observabilidade parcial.
• $\pi$: Recomendação de política (explicitamente separada da medição).

O CSF-Eval avalia sistemas em cinco fatias contrastantes:

1. Mesmo texto, contexto diferente: Testar se o sistema reconhece que as mesmas palavras funcionam de maneira diferente com base no público e no cenário.
2. Forma diferente, mesmo dano: Testar se o sistema detecta abuso codificado ou pragmático sem depender de marcadores tóxicos explícitos.
3. Contexto ausente: Testar se o sistema expressa incerteza ou se abstém quando o contexto está incompleto, em vez de forçar um rótulo confiante.
4. Sinais de recepção e perturbação: Testar se o sistema usa evidências comportamentais (por exemplo, escalonamento) como evidência ruidosa de perturbação.
5. Separação medição-política: Testar se o sistema distingue entre estimar dano e fazer cumprir a política.

4. Resultados Empíricos

Os autores fornecem uma sonda ilustrativa usando dados do subreddit r/BlackPeopleTwitter para demonstrar a divergência entre toxicidade intrínseca ao texto e perturbação baseada na recepção.

• Metodologia: Compararam a API de Moderação da OpenAI e a API Perspective do Google (detectores intrínsecos ao texto) contra PONOS (Proporção de Sinais Negativos Observados), uma métrica que mede a proporção de respostas expressando reações negativas.
• Descobertas:
  • Houve uma correlação fraca entre pontuações intrínsecas ao texto e PONOS ($\rho \approx 0,20$).
  • Por outro lado, as duas APIs intrínsecas ao texto correlacionaram-se fortemente entre si ($\rho \approx 0,87$).
  • Análise de Quadrantes:
    • LH (Baixo PONOS, Alta Toxicidade de Texto): 14,5% das postagens foram supermarcadas. Estas frequentemente envolviam solidariedade de grupo interno, linguagem recuperada ou humor dialetal (por exemplo, "That's my n***a!").
    • HL (Alto PONOS, Baixa Toxicidade de Texto): 14,4% das postagens foram ignoradas. Estas envolviam sarcasmo, antagonismo pragmático ou violações de normas específicas de contexto que careciam de insultos explícitos.
• Conclusão: O risco intrínseco ao texto e a perturbação baseada na recepção são quantidades distintas. Os detectores atuais falham sistematicamente em alinhar-se com a perturbação real da comunidade, particularmente em contextos ricos em dialetos ou linguagem recuperada.

5. Significado e Alegações

O artigo alega que a detecção de toxicidade deve evoluir de prever rótulos de conjuntos de dados para medir dano comunicativo situado. Seu significado reside em:

1. Corrigir o Alvo de Medição: Argumenta que sistemas críticos para a segurança não podem fingir que texto isolado é suficiente. Ao separar o risco do texto da recepção, a CSF explica por que os modelos atuais supermarcam dialetos e ignoram abuso pragmático.
2. Operacionalizar a Incerteza: Propõe que "contexto ausente" deve ser tratado como uma condição de falha, exigindo que os sistemas expressem incerteza ou se abstenham, em vez de gerar rótulos excessivamente confiantes e potencialmente prejudiciais.
3. Desacoplar Medição e Aplicação: Defende a separação da estimativa de dano (medição) da decisão de remover ou reduzir a classificação de conteúdo (política), permitindo uma moderação mais transparente e responsável.
4. Reforma de Benchmarks: Chama a comunidade a adotar padrões CSF-Eval, exigindo que benchmarks relatem desempenho em nível de fatia (por exemplo, mudanças de contexto, dados ausentes) em vez de precisão agregada, e que documentem explicitamente a perspectiva de quem e quais sinais contextuais são representados.

Os autores mantêm uma postura modesta, reconhecendo que a toxicidade não pode ser medida perfeitamente e que o contexto completo muitas vezes não está disponível em implantações em tempo real. No entanto, argumentam que reconhecer a observabilidade parcial e modelar a incerteza é um passo necessário em direção a sistemas de moderação mais seguros e robustos.