Harm is not Universal: Community-Specific Toxicity Detection is Urgently Needed

Resumo Técnico: O Dano Não é Universal: A Detecção de Toxicidade Específica de Comunidade é Urgente

Declaração do Problema
Os detectores de toxicidade de estado da arte (SoTA) atuais para geração de texto-para-imagem (T2I) empregam uma abordagem de "tamanho único", utilizando um único modelo universal treinado em diretrizes de segurança fixas (ex: discurso de ódio, violência, conteúdo sexual) para proteger todos os usuários. Os autores argumentam que esse paradigma falha em proteger comunidades marginalizadas de danos representacionais — representações errôneas sutis e culturalmente específicas que surgem de dados de treinamento limitados ou enviesados, em vez de toxicidade explícita. A evidência empírica apresentada no artigo indica que aproximadamente 35% das imagens rotuladas como "seguras" pelos detectores SoTA são consideradas prejudiciais pelas comunidades com deficiência. Esses danos, como representar usuários de cadeira de rodas com rodas em vez de pernas ou retratar pessoas cegas com vendas nos olhos durante atividades cotidianas, são frequentemente alucinados pelos modelos e carecem de contrapartes no mundo real, tornando os detectores padrão ineficazes.

Metodologia
Para abordar essa lacuna, os autores propõem a Detecção de Toxicidade Específica de Comunidade (CTD), um framework que estende a detecção de toxicidade tradicional para considerar danos representacionais localizados. A metodologia envolve:

1. Desenvolvimento de Diretrizes: Colaboração com especialistas em deficiência e organizações de defesa para definir diretrizes de segurança para duas comunidades específicas: pessoas cegas ou com baixa visão (BLV) e pessoas com nanismo (DWF). Essas diretrizes identificam seis danos representacionais específicos por comunidade (ex: distorções não anatômicas, infantilização, uso inapropriado de tecnologia assistiva).
2. Curadoria de Dataset: Geração de 2.400 imagens T2I (1.200 por comunidade) usando prompts elaborados pelas próprias comunidades e três modelos T2I (GPT-Image-1, Imagen 4-Ultra, Stable Diffusion 3.5). Cinco especialistas em deficiência anotaram essas imagens para segurança, alcançando alta confiabilidade inter-avaliador (Kappa de Cohen de 0,65 para BLV e 0,97 para DWF).
3. Avaliação Experimental: Os autores avaliaram três categorias de modelos sob configurações de zero-shot, adaptação em tempo de inferência e fine-tuning:
   • Modelos de Visão-Linguagem de Propósito Geral (VLMs): Incluindo GPT-5, GPT-4o, LLaVA, Qwen e LLaMA.
   • Detectores Especializados em Segurança: Modelos como LlavaGuard, QwenGuard e ShieldGemma2 treinados em taxonomias de segurança pública geral.
   • Estratégias de Adaptação:
     • Zero-shot: Fornecimento de diretrizes comunitárias na inferência sem treinamento.
     • Aprendizado em Contexto (ICL): Fornecimento de 2 a 5 exemplos anotados de conteúdo prejudicial.
     • Visual Question Answering (VQA): Enquadramento da avaliação de segurança como uma série de perguntas direcionadas de sim/não derivadas das diretrizes.
     • Fine-Tuning de Parâmetros Eficientes (FT): Uso de LoRA para realizar o fine-tuning de modelos menores (0,5B–7B parâmetros) em menos de 100 exemplos anotados.

Resultados Principais
O estudo produz descobertas críticas sobre as limitações dos sistemas atuais e o potencial da CTD:

• Detectores Universais Falham: Em configurações zero-shot, tanto os VLMs de propósito geral quanto os detectores especializados em segurança falham catastroficamente em reconhecer danos específicos de comunidades. A maioria dos modelos obteve pontuações F1 próximas de zero (ex: 0,00 para muitos modelos), e mesmo os melhores desempenhos (GPT-4o) pontuaram abaixo de 0,35 para BLV. Esse desempenho é frequentemente pior do que as linhas de base de tentativa e erro (random guessing).
• A Adaptação Melhora o Desempenho:
  • VQA: Esta abordagem rendeu os ganhos mais consistentes, com o GPT-4o alcançando pontuações F1 de 0,78 para DWF e 0,49 para BLV. O VQA provou ser eficaz mesmo para modelos menores.
  • ICL: Mostrou melhorias substanciais, porém inconsistentes. Embora tenha melhorado o grounding para alguns modelos, falhou em melhorar consistentemente o desempenho em todas as comunidades (ex: o desempenho caiu para DWF em alguns modelos).
  • Fine-Tuning: O fine-tuning de parâmetros eficientes (LoRA) em pequenos datasets (<100 exemplos) melhorou significativamente os VLMs menores, elevando as pontuações F1 para 0,59 para o Qwen-7b em DWF e 0,48 para o LLaVA-7b em BLV. No entanto, essas pontuações permanecem bem abaixo do F1 ≈0,9 tipicamente alcançado para detecção de toxicidade de propósito geral.
• Sensibilidade a Diretrizes Evolutivas: Os autores realizaram estudos de ablação simulando a adição ou remoção de definições de danos. Os modelos submetidos a fine-tuning mostraram flexibilidade limitada; embora tenham se adaptado parcialmente, seu desempenho em outras categorias de danos mudou significativamente (mudanças relativas de ~20%), sugerindo que o fine-tuning estático pode exigir retreinamento frequente para alinhar-se com as normas comunitárias em evolução.

Significância e Alegações
O artigo posiciona-se como um chamado à ação para a comunidade de pesquisa em segurança de IA, argumentando que o paradigma de segurança "universal" é insuficiente para proteger grupos marginalizados. Os autores afirmam que:

1. A CTD é Urgente: Os detectores atuais deixam comunidades marginalizadas vulneráveis a consequências materiais, como redução de acesso à educação e ao emprego, devido ao reforço de estigmas e percepções públicas distorcidas.
2. A CTD é Viável, mas Desafiadora: Embora a CTD seja tecnicamente viável usando diretrizes guiadas por especialistas e estratégias de adaptação, ela apresenta desafios distintos em comparação com a detecção de toxicidade geral, incluindo a necessidade de diretrizes dinâmicas, a coexistência de múltiplas definições comunitárias e escassez extrema de dados.
3. Direções de Pesquisa: O artigo identifica quatro questões de pesquisa críticas: como aprender a partir de dados escassos, como se adaptar a diretrizes que evoluem dinamicamente, como arquitetar sistemas para múltiplas diretrizes não agregáveis e como construir infraestrutura para parcerias distribuídas entre pesquisadores e comunidades.

Os autores enfatizam que alcançar uma IA inclusiva requer engajamento sustentado e construção de confiança com diversas organizações de defesa, um processo que não pode ser acelerado apenas pela engenharia. Eles concluem que, embora seu trabalho demonstre a promessa da CTD, um esforço de pesquisa significativo é necessário para reduzir a lacuna de desempenho entre a detecção específica de comunidade e os padrões de segurança de propósito geral.