A Survey of Toxicity Detection and Mitigation Strategies for Multilingual Language Models

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados em ambientes multilíngues, mas seus comportamentos de segurança permanecem desiguais entre contextos linguísticos e culturais. Embora progressos significativos tenham sido feitos na desintoxicação em inglês, a detecção e a mitigação multilíngues permanecem menos maduras, particularmente para línguas de baixos recursos, dialetos, entradas com alternância de código (code-switching) e danos culturalmente específicos. O problema central é que a toxicidade não é uma tradução direta dos protocolos de segurança do inglês; as definições de dano variam por comunidade, e vulnerabilidades técnicas (como alternância de código, transliteração e scripts mistos) podem enfraquecer tanto os detectores quanto os comportamentos de recusa. Além disso, as estratégias de mitigação atuais frequentemente correm o risco de suprimir expressões legítimas de dialetos ou de identidade, levando à "homogeneização do modelo".

Metodologia e Escopo

Este artigo fornece um levantamento focado sintetizando o trabalho recente sobre o pipeline de desintoxicação para LLMs multilíngues. Em vez de oferecer uma visão ampla sobre a segurança de LLMs, os autores organizam a literatura em uma taxonomia que cobre três eixos primários:

1. Modelos de Ameaça: Como saídas tóxicas são induzidas em configurações multilíngues.
2. Formulações de Tarefas: Como a toxicidade é medida (reescrita, classificação, avaliação de geração).
3. Estratégias de Mitigação: Mecanismos para detectar e reduzir a toxicidade.

O levantamento baseia-se em uma revisão sistemática de conjuntos de dados, modelos e frameworks de avaliação existentes, categorizando-os por sua abordagem técnica e cobertura linguística.

Principais Contribuições e Taxonomia

1. Modelos de Ameaça para Indução de Toxicidade

Os autores categorizam procedimentos adversários que exploram a escolha de idioma para contornar o alinhamento de segurança em quatro eixos diagnósticos: composição de idioma, composição de script, mediação por tradução e variação de normas culturais.

• Jailbreaks de Mudança de Idioma (Language-Shift Jailbreaks): Solicitações maliciosas ou ambíguas reexpressas em idiomas não ingleses (frequentemente de baixos recursos) provocam taxas de insegurança mais altas do que em inglês.
• Ataques Mediados por Tradução e de Pivô: Prompts tóxicos em inglês são traduzidos para um idioma alvo para aumentar a conformidade, com a resposta sendo traduzida de volta. Isso expõe a tradução como um modo de falha central.
• Alternância de Código e Scripts Mistos: Ataques que misturam idiomas, scripts e formas transliteradas (por exemplo, "Sandwich Attacks" intercalando segmentos benignos e adversários) contornam efetivamente detectores monolíngues.
• Adaptação Pós-Implantação: O ajuste fino (fine-tuning) em dados tóxicos em um idioma pode causar colapso de segurança em outros idiomas (transferência de ataque translinguística). Inversamente, mesmo um ajuste fino benigno para aprender um novo idioma pode degradar o comportamento de recusa.

2. Formulações de Tarefas, Conjuntos de Dados e Métricas

O levantamento organiza as tarefas de avaliação em três categorias:

• Reescrita de Tóxico-para-Neutro: Datasets como ParaDetox, MultiParaDetox e TextDetox fornecem pares paralelos tóxico-neutros para transferência de estilo. Datasets sintéticos (ex: SynthDetox-M) são cada vez mais usados para aumentar idiomas de baixos recursos.
• Classificação de Toxicidade: Benchmarks incluem Jigsaw (extensões multilíngues), OffensEval, HateCheck e ToxiGen. Estes variam da classificação binária a testes funcionais para discurso de ódio.
• Avaliação de Geração Tóxica: Datasets como RealToxicityPrompts (RTP), RTP-LX (estendido para 28 idiomas) e PolygloToxicityPrompts (PTP) avaliam a probabilidade de continuações tóxicas.
• Métricas: A avaliação depende de Pontuação de Toxicidade (ex: Perspective API), Precisão de Transferência de Estilo (STA), Preservação de Conteúdo (BLEURT, BERTScore) e Fluência. Uma lacuna crítica observada é a falta de protocolos de avaliação humana padronizados e culturalmente fundamentados.

3. Abordagens de Detecção

• Transformers Multilíngues: Modelos como mBERT e XLM-R aproveitam vocabulários de subpalavras compartilhados para transferência translinguística, embora o desempenho permaneça irregular entre scripts e dialetos.
• Pipelines de Tradução: Traduzir texto não inglês para o inglês antes da detecção é comum, mas introduz propagação de erro, deriva semântica e potencial inserção de toxicidade.
• Sondagem de Nível de Representação (Representation-Level Probing): Trabalhos recentes identificam subespaços tóxicos lineares em embeddings, permitindo a localização de características de toxicidade tanto para detecção quanto para mitigação.
• Detecção Baseada em LLM: LLMs ajustados por instrução são usados como detectores zero-shot, embora sofram de falhas de calibração e desalinhamento cultural.

4. Estratégias de Mitigação

Os autores apresentam uma taxonomia baseada em mecanismos para desintoxicação:

• Centrada em Dados: Filtragem de corpora de pré-treinamento para remover conteúdo tóxico. Embora escalável, isso corre o risco de remover excessivamente variedades de línguas minoritárias e expressões idiomáticas culturalmente específicas.
• Centrada no Modelo:
  • Ajuste Fino Supervisionado (SFT): Treinamento em pares não tóxicos ou contrastivos curados.
  • Ajuste de Preferência/RLHF: Alinhamento de modelos com feedback humano. No entanto, a dependência de dados de preferência centrados no inglês leva ao desalinhamento transcultural.
• Direcionamento no Tempo de Decodificação (Decoding-Time Steering): Métodos como PPLM, GeDi e DExperts direcionam a geração durante a inferência sem retreinamento. Eles são modulares, mas exigem especialistas multilíngues de alta qualidade, que são escassos.
• Edição de Representação: Técnicas como Adição de Ativação ou edição baseada em ROME modificam representações internas para atenuar características tóxicas.
• Guardrails Multilíngues: Classificadores de tempo de implantação (ex: Llama Guard, Aegis, PolyGuard) que controlam prompts e respostas. Estes são vulneráveis a ataques de alternância de código e transliteração.

Resultos e Desafios Abertos

O levantamento identifica vários desafios persistentes que limitam a confiabilidade dos atuais sistemas de segurança multilíngues:

• Lacunas Translinguísticas: Métodos eficazes em inglês consistentemente apresentam desempenho inferior em línguas de baixos recursos e morfologicamente ricas.
• Desalinhamento Cultural: As definições de segurança são frequentemente contingentes à cultura. Um ajuste único para todos corre o risco de censurar excessivamente gírias recuperadas ou expressões dialetais benignas, enquanto ignora linguagem contextualmente ofensiva.
• Fragmentação de Avaliação: Não existe um benchmark multilíngue unificado. Os datasets existentes diferem em esquemas de rotulagem, formatos de tarefa e cobertura de idiomas, dificultando a comparação entre sistemas.
• Trade-offs de Estilo e Diversidade: A desintoxicação frequentemente degrada a diversidade do output, gerando textos genéricos que apagam a riqueza linguística e a expressão de identidade.
• Vulnerabilidades de Alternância de Código: Os tokenizadores e corpora de treinamento atuais são escassos para inputs de idiomas mistos, criando lacunas de segurança significativas para comunidades que se comunicam via alternância de código.

Significância e Conclusão

O artigo conclui que a transferência translinguística de segurança é pouco confiável e que a desintoxicação está em tensão com a diversidade linguística. Os autores argumentam que a necessidade de pesquisa mais premente é o desenvolvimento de infraestrutura de avaliação: benchmarks multilíngues padronizados e culturalmente fundamentados que meçam não apenas a redução da toxicidade, mas também a preservação do conteúdo estilístico e cultural.

O levantamento enfatiza que estratégias híbridas — combinando filtragem de dados, geração controlada, alinhamento culturalmente consciente e guardrails — são a direção mais defensável para a implantação. No entanto, sem supervisão culturalmente fundamentada e práticas de dados inclusivas, a detecção automatizada de toxicidade corre o risco de reforçar preconceitos sociais e suprimir o discurso legítimo em comunidades sub-representadas. O artigo serve como um roteiro para construir LLMs globalmente seguros e equitativos, destacando os obstáculos técnicos e sociolinguísticos específicos que permanecem não resolvidos.