Resumen Técnico: RABAKBENCH

Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) exhiben frecuentemente fallos significativos de alineación de seguridad al procesar variedades de lenguas de bajos recursos, incluyendo lenguas mixtas (code-mixed), dialectos regionales y jerga. Aunque las salvaguardas actuales suelen ser robustas en inglés estándar, sufren de un "punto ciego de localización", fallando en la detección de daños localizados mientras que, simultáneamente, marcan como insegros el vernáculo cultural benigno. Este problema es particularmente agudo en sociedades altamente multilingües como Singapur, donde los usuarios cambian fluidamente entre el Singlish (un criollo que mezcla inglés, malayo, Hokkien y tamil), chino, malayo y tamil. La construcción de benchmarks de seguridad para estos contextos se ha visto históricamente obstaculizada por el alto coste de la anotación manual y la necesidad de una fluidez cultural profunda y localizada.

Metodología

Los autores presentan RABAKBENCH, un benchmark de seguridad multilingüe y un pipeline escalable de tres etapas diseñado para generar, anotar y extender datos de seguridad para el panorama lingüístico de Singapur. El marco integra la validación de humanos en el bucle (human-in-the-loop) en coyunturas críticas para asegurar la precisión cultural y la preservación de la toxicidad.

1. Generar: Generación de Ejemplos Adversarios

El pipeline comienza construyendo un corpus de alta calidad de casos de prueba en Singlish mediante un enfoque híbrido:

• Transformación de Contenido Local: Se curan comentarios orgánicos y no estructurados en Singlish de foros web locales y se estandarizan en consultas de estilo instrucción mediante transformaciones basadas en plantillas.
• Red Teaming de Salvaguardas Automatizadas: Se despliega un bucle iterativo de múltiples agentes (inspirado en PAIR) contra cinco salvaguardas base (incluyendo LionGuard, OpenAI Moderation y LlamaGuard 3). Un LLM de Ataque genera prompts candidatos en Singlish, mientras que un LLM Crítico analiza la salida del clasificador objetivo para identificar errores de clasificación (falsos negativos y falsos positivos).
• Verificación Humana: Un revisor humano filtra todos los outputs candidatos para asegurar la autenticidad y consistencia con el uso local, descartando entradas sin sentido.

2. Etiquetar: Supervisión Débil mediante el Acuerdo de LLM

Para abordar el alto coste de la anotación manual para el Singlish, los autores emplean una estrategia de supervisión débil:

• Selección de LLM: Se evaluaron seis LLMs candidatos frente a un conjunto de oro de 50 ejemplos etiquetados por seis expertos humanos fluidos en Singlish. Utilizando la metodología Alt-Test, los autores validaron estadísticamente que modelos específicos (Gemini 2.0 Flash, o3-mini-low y Claude 3.5 Haiku) se alinean significativamente con los juicios humanos.
• Votación por Mayoría: Los tres modelos seleccionados asignan de forma independiente etiquetas binarias a través de seis categorías de daño finamente detalladas. Las etiquetas finales se determinan por voto de mayoría para asegurar la estabilidad.
• Validación: Los modelos seleccionados alcanzaron puntuaciones de kappa de Cohen entre 0.68 y 0.72 contra el consenso humano, lo que indica un acuerdo sustancial.

3. Traducir: Extensión Multilingüe con Preservación de Toxicidad

El corpus de Singlish se extiende al chino, malayo y tamil utilizando una configuración de traducción diseñada para preservar tanto el significado semántico como el nivel de toxicidad pretendido:

• Construcción de Pocos Disparos (Few-Shot) Curada por Expertos: Se creó un grupo de 20 ejemplos de alta fidelidad verificados manualmente por idioma, mediante talleres iterativos con profesionales del lenguaje basados en Singapur. Estos ejemplos fueron seleccionados a través de un proceso de tres rondas que involucró candidatos de LLM y refinamiento humano.
• Selección y Optimización de Modelos: Varios modelos de última generación fueron evaluados para la fidelidad de la traducción utilizando similitud semántica directa y consistencia de retro-traducción. GPT-4o mini fue seleccionado como el modelo óptimo.
• Prompting Dinámico: El número de ejemplos de pocos disparos ($k$) se clasificó dinámicamente basado en la similitud semántica con el input objetivo ($k=15$ para chino, $k=10$ para malayo, $k=20$ para tamil) para asegurar que el modelo recibiera demostraciones contextualmente relevantes de jerga y toxicidad.
• Validación Final: Un segundo grupo de expertos en lenguaje calificó una muestra estratificada del corpus traducido, confirmando que las traducciones automáticas eran comparables a las bases de referencia verificadas por humanos.

Contribuciones Clave

1. Dataset RABAKBENCH: El lanzamiento del primer benchmark de seguridad abierto que cubre las variantes lingüísticas de Singapur (Singlish, chino, malayo, tamil) con más de 5,000 ejemplos. Presenta una taxonomía de daño finamente detallada con niveles de severidad (Nivel 1 y Nivel 2) a través de seis categorías: Odio, Insultos, Sexual, Violencia Física, Autolesión y Todos los Demás Malos Conductas.
2. Framework Generar-Etiquetar-Traducir: Un pipeline reproducible que combina la generación escalable de LLM, la supervisión débil eficiente mediante votación por mayoría y la traducción de alta fidelidad, todo ello sustentado por la verificación humana en etapas críticas.
3. Método de Traducción con Preservación de Toxicidad: Un enfoque sistemático para extender datasets de seguridad a nuevos idiomas manteniendo la intención dañina original y la intensidad emocional, abordando el fallo común de los modelos de traducción estándar de sanitizar o malinterpretar modismos regionales.
4. Evaluación Exhaustiva: Un benchmarking de 13 sistemas de moderación contemporáneos (tanto comerciales como de código abierto) contra el dataset.

Resultados Experimentales

Las evaluaciones de 13 salvaguardas en RABAKBENCH revelaron una degradación significativa del rendimiento en comparación con los benchmarks estándar centrados en el inglés:

• Brecha de Rendimiento: Modelos con altos puntajes F1 en datasets estándar de inglés (por ejemplo, WildGuard con 86.1%, DuoGuard con 74.9%) vieron sus puntuaciones caer drásticamente en RABAKBENCH (a 47.27% y 45.03%, respectivamente).
• Cuellos de Botella Lingüísticos: El rendimiento varió ampliamente entre idiomas. Mientras que algunos modelos (por ejemplo, Qwen3Guard, gpt-oss-safeguard) lograron puntuaciones F1 por encima del 80% en chino y malayo, el rendimiento en tamil fue particularmente pobre, con muchos modelos puntuando por debajo del 30%.
• Comercial vs. Código Abierto: Herramientas comerciales ampliamente utilizadas como Perspective API lograron un F1 promedio de solo 28.40%, mientras que modelos de código abierto más nuevos como Qwen3Guard y gpt-oss-safeguard demostraron capacidades multilingües superiores, aunque todavía luchando con matices localizados específicos.

Significado y Reivindicaciones

El artículo afirma que RABAKBENCH proporciona un marco reproducible para construir benchmarks de seguridad en comunidades desatendidas, yendo más allá de las políticas de seguridad de "talla única" que fallan en despliegues globales. Los autores argumentan que las brechas de rendimiento observadas resaltan un "punto ciego de localización" crítico donde las técnicas de alineación actuales son excesivamente sensibles a las palabras clave pero insuficientemente sensibles a la intención pragmática de los vernáculos regionales. Esta sobre-censura conlleva el riesgo de "marginalización digital", obligando a los usuarios a revertir al inglés estándar y erosionando la confianza en la IA localizada.

Los autores posicionan a RABAKBENCH no meramente como un dataset para Singapur, sino como un plano agnóstico a la tarea para evaluar la seguridad en entornos de código mixto y de bajos recursos a nivel global. Al utilizar el Alt-Test para construir datasets de alta calidad sin requerir equipos masivos de anotación humana, el framework ofrece un modelo escalable para avanzar en la seguridad de la IA multilingüe. El dataset y el código de evaluación están disponibles públicamente para facilitar la investigación adicional.