Resumo Técnico: RABAKBENCH

Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente exibem falhas significativas de alinhamento de segurança ao processar variedades de línguas de baixos recursos, incluindo vernáculos de código misto, dialetos regionais e gírias. Embora os atuais mecanismos de proteção sejam robustos em inglês padrão, eles sofrem de um "ponto cego de localização", falhando em detectar danos localizados enquanto simultaneamente sinalizam vernáculos culturais benignos como inseguros. Este problema é particularmente agudo em sociedades altamente multilíngues como Singapura, onde os usuários alternam fluidamente entre o Singlish (um crioulo que mistura inglês, malaio, hokkien e tâmil), chinês, malaio e tâmil. A construção de benchmarks de segurança para estes contextos tem sido historicamente dificultada pelo alto custo da anotação manual e pela necessidade de uma fluência cultural profunda e localizada.

Metodologia

Os autores introduzem o RABAKBENCH, um benchmark de segurança multilíngue e um pipeline escalável de três estágios projetado para gerar, anotar e estender dados de segurança para o cenário linguístico de Singapura. O framework integra validação humana no ciclo (human-in-the-loop) em pontos críticos para garantir precisão cultural e preservação de toxicidade.

1. Gerar: Geração de Exemplos Adversários

O pipeline começa pela construção de um corpus de alta qualidade de casos de teste em Singlish através de uma abordagem híbrida:

• Transformação de Conteúdo Local: Comentários orgânicos e não estruturados em Singlish de fóruns da web local são curados e padronizados em consultas de estilo instrução através de transformações baseadas em templates.
• Red Teaming Automatizado de Guardrails: Um loop iterativo de múltiplos agentes (inspirado no PAIR) é implantado contra cinco guardrails de base (incluindo LionGuard, OpenAI Moderation e LlamaGuard 3). Um LLM de Ataque gera prompts candidatos em Singlish, enquanto um LLM Crítico analisa a saída do classificador alvo para identificar classificações incorretas (falsos negativos e falsos positivos).
• Verificação Humana: Um revisor humano filtra todas as saídas candidatas para garantir autenticidade e consistência com o uso local, descartando entradas sem sentido.

2. Rotular: Supervisão Fraca via Acordo de LLM

Para abordar o alto custo da anotação manual para o Singlish, os autores empregam uma estratégia de supervisão fraca:

• Seleção de LLM: Seis LLMs candidatos foram avaliados contra um conjunto de ouro de 50 exemplos rotulados por seis especialistas humanos fluentes em Singlish. Utilizando a metodologia Alt-Test, os autores validaram estatisticamente que modelos específicos (Gemini 2.0 Flash, o3-mini-low e Claude 3.5 Haiku) alinham-se significativamente com os julgamentos humanos.
• Votação por Maioria: Os três modelos selecionados atribuem independentemente rótulos binários através de seis categorias detalhadas de dano. Os rótulos finais são determinados por voto de maioria para garantir estabilidade.
• Validação: Os modelos selecionados alcançaram escores de Cohen's kappa entre 0,68 e 0,72 contra o consenso humano, indicando concordância substancial.

3. Traduzir: Extensão Multilíngue com Preservação de Toxicidade

O corpus de Singlish é estendido para chinês, malaio e tâmil usando uma configuração de tradução projetada para preservar tanto o significado semântico quanto o nível pretendido de toxicidade:

• Construção de Few-Shot Curada por Especialistas: Um pool de 20 exemplos de alta fidelidade e verificados manualmente por idioma foi criado através de workshops iterativos envolvendo profissionais de linguagem baseados em Singapura. Estes exemplos foram selecionados através de um processo de três rodadas envolvendo candidatos de LLM e refinamento humano.
• Seleção e Otimização de Modelos: Vários modelos de última geração foram testados para fidelidade de tradução usando similaridade semântica direta e consistência de tradução reversa (back-translation). O GPT-4o mini foi selecionado como o modelo ideal.
• Prompting Dinâmico: O número de exemplos de poucos disparos (few-shot examples, $k$) é classificado dinamicamente com base na similaridade semântica com a entrada alvo ($k=15$ para chinês, $k=10$ para malaio, $k=20$ para tâmil) para garantir que o modelo receba demonstrações contextualmente relevantes de gírias e toxicidade.
• Validação Final: Um grupo secundário de especialistas em linguagem avaliou uma amostra estratificada do corpus traduzido, confirmando que as traduções automáticas eram comparáveis às bases de referência verificadas por humanos.

Principais Contribuições

1. Dataset RABAKBENCH: O lançamento do primeiro benchmark de segurança aberto cobrindo variantes linguísticas de Singapura (Singlish, chinês, malaio, tâmil) com mais de 5.000 exemplos. Apresenta uma taxonomia de dano detalhada com níveis de severidade (Nível 1 e Nível 2) em seis categorias: Ódio, Insultos, Sexual, Violência Física, Autoflagelação e Outras Condutas Inadequadas.
2. Framework Gerar-Rotular-Traduzir: Um pipeline reproduzível que combina geração escalável por LLM, supervisão fraca eficiente via voto de maioria e tradução de alta fidelidade, tudo sustentado por verificação humana em etapas críticas.
3. Método de Tradução com Preservação de Toxicidade: Uma abordagem sistemática para estender datasets de segurança para novos idiomas enquanto mantém a intenção prejudicial original e a intensidade emocional, abordando a falha comum de modelos de tradução padrão em sanitizar ou traduzir incorretamente expressões regionais.
4. Avaliação Abrangente: Um benchmarking de 13 sistemas de moderação contemporâneos (tanto comerciais quanto de código aberto) contra o dataset.

Resultados Experimentais

As avaliações de 13 guardrails no RABAKBENCH revelaram uma degradação significativa de desempenho em comparação com benchmarks padrão centrados no inglês:

• Lacuna de Desempenho: Modelos com altos escores F1 em datasets de inglês padrão (ex: WildGuard com 86,1%, DuoGuard com 74,9%) viram seus escores caírem drasticamente no RABAKBENCH (para 47,27% e 45,03%, respectivamente).
• Gargalos Linguísticos: O desempenho variou amplamente entre as línguas. Enquanto alguns modelos (ex: Qwen3Guard, gpt-oss-safeguard) alcançaram escores F1 acima de 80% em chinês e malaio, o desempenho no tâmil foi particularmente baixo, com muitos modelos pontuando abaixo de 30%.
• Comercial vs. Código Aberto: Ferramentas comerciais amplamente utilizadas como a Perspective API atingiram um F1 médio de apenas 28,40%, enquanto novos modelos de código aberto como Qwen3Guard e gpt-oss-safeguard demonstraram capacidades multilíngues superiores, embora ainda lutem com nuances localizadas específicas.

Significância e Alegações

O artigo afirma que o RABAKBENCH fornece um framework reproduzível para construir benchmarks de segurança em comunidades subatendidas, indo além das políticas de segurança de "tamanho único" que falham em implantações globais. Os autores argumentam que a lacuna de desempenho observada destaca um "ponto cego de localização" crítico, onde as técnicas de alinhamento atuais são excessivamente sensíveis a palavras-chave, mas subsensíveis à intenção pragmática de vernáculos regionais. Esta autocensura excessiva gera o risco de "marginalização digital", forçando os usuários a retornar ao inglês padrão e erodindo a confiança em IAs localizadas.

Os autores posicionam o RABAKBENCH não meramente como um dataset para Singapura, mas como um blueprint agnóstico à tarefa para avaliar a segurança em ambientes de código misto e de baixos recursos globalmente. Ao utilizar o Alt-Test para construir datasets de alta qualidade sem exigir grandes equipes de anotação humana, o framework oferece um modelo escalável para avançar a segurança da IA multilíngue. O dataset e o código de avaliação estão disponíveis publicamente para facilitar pesquisas adicionais.