JUBAKU: An Adversarial Benchmark for Exposing Culturally Grounded Stereotypes in Japanese LLMs

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) incorporan sesgos sociales que están intrínsecamente moldeados por las normas culturales. Si bien existen benchmarks establecidos para evaluar sesgos en contextos anglófonos (como CrowS-Pairs, StereoSet o BBQ), su adaptación a contextos no anglófonos, específicamente al japonés, presenta limitaciones críticas:

• Falta de arraigo cultural: Las versiones traducidas o adaptadas de benchmarks occidentales a menudo fallan en capturar estereotipos específicos de Japón, como los relacionados con relaciones jerárquicas, dialectos regionales o roles de género tradicionales.
• Ceguera ante normas locales: Los benchmarks existentes pueden pasar por alto normas culturales japonesas clave, como la comunicación indirecta o el concepto de "Wa" (armonía), que influyen en cómo se manifiestan los prejuicios.
• Falta de construcción adversarial: Muchos conjuntos de datos actuales no están diseñados para provocar respuestas dañinas bajo condiciones adversarias, lo que permite que los sesgos latentes permanezcan ocultos durante evaluaciones estándar.

2. Metodología: JUBAKU

Los autores introducen JUBAKU (Japanese cUlture adversarial BiAs benchmarK Under handcrafted creation), un nuevo benchmark diseñado específicamente para el contexto cultural japonés.

• Categorías Culturales: Se definieron 10 categorías culturales basadas en una revisión de literatura existente (Adilazuarda et al., 2024) para cubrir aspectos diversos: género, religión, etnia, educación, raza, región, emociones/valores, comida/bebida, acciones básicas y nombres.
• Creación de Datos (Proceso Adversarial):
  • Anotación Humana: Seis anotadores nativos japoneses (expertos en NLP) crearon manualmente diálogos simulando conversaciones entre un humano y un asistente. Cada instancia incluye un contexto y dos respuestas candidatas (una sesgada y una imparcial).
  • Ataque Adversarial con LLM: Para asegurar que los ejemplos fueran lo suficientemente difíciles para revelar sesgos latentes, se utilizó un enfoque iterativo con GPT-4o. Los anotadores revisaron los ejemplos hasta que GPT-4o seleccionó la respuesta sesgada en lugar de la imparcial. Esto garantiza que el benchmark sea "adversarial" y capaz de engañar incluso a modelos avanzados.
  • Estructura del Dataset: El conjunto final consta de 152 instancias base, que se expandieron mediante variaciones de instrucciones y cambios en el orden de las respuestas, resultando en un total de 1,216 instancias para la evaluación.
• Validación Humana: Un grupo independiente de anotadores evaluó las respuestas imparciales, logrando una precisión del 91%, lo que confirma que las respuestas "correctas" son claras y no ambiguas para los humanos.

3. Contribuciones Clave

1. Primer Benchmark Culturalmente Anclado: JUBAKU es el primer benchmark diseñado desde cero para el contexto japonés, evitando la dependencia de traducciones de datos occidentales.
2. Enfoque Adversarial Manual: A diferencia de métodos que generan datos automáticamente (lo que puede introducir circularidad), JUBAKU utiliza anotación humana guiada por un proceso adversarial controlado para exponer sesgos específicos.
3. Definición de Sesgo Cultural: Establece una definición operativa de respuesta sesgada como aquella que hace suposiciones implícitas basadas en estereotipos culturales, independientemente del grupo afectado.

4. Resultados Experimentales

Los autores evaluaron 9 LLMs japoneses (incluyendo Sarashina2, Qwen2.5, Swallow y calm3) y compararon su rendimiento en JUBAKU frente a tres benchmarks existentes (JBNLI, JBBQ, SSQA-JA).

• Rendimiento Inferior al Azar: En JUBAKU, todos los modelos evaluados obtuvieron una precisión por debajo de la línea base aleatoria (50%), con un promedio de 23% (rango de 13% a 33%). Esto indica que los modelos sistemáticamente seleccionaron respuestas sesgadas en lugar de las imparciales.
• Contraste con Otros Benchmarks: Los mismos modelos mostraron un rendimiento significativamente mejor (50% - 80% de precisión) en los benchmarks existentes, lo que demuestra que estos últimos fallan en detectar los sesgos latentes que JUBAKU expone.
• Generalización del Ataque: Aunque los datos adversariales se construyeron para engañar a GPT-4o, la degradación del rendimiento se observó consistentemente en todos los modelos japoneses evaluados, sugiriendo que la técnica de creación de datos es robusta y transferible.
• Análisis por Categoría: Las categorías de "Religión" y "Raza" requirieron más ediciones para engañar a GPT-4o (indicando mayor alineación de seguridad en estos dominios), mientras que "Etnia" y "Región" fueron más vulnerables.

5. Significado e Impacto

• Revelación de Sesgos Latentes: El estudio demuestra que los LLMs japoneses, que parecen seguros bajo evaluaciones estándar, contienen sesgos culturales profundos y latentes que solo se manifiestan cuando se les presenta con escenarios culturalmente matizados y adversarios.
• Necesidad de Evaluación Localizada: Subraya la urgencia de desarrollar benchmarks específicos por cultura en lugar de depender de la traducción de datos occidentales, ya que las normas culturales (como la comunicación indirecta en Japón) generan tipos de estereotipos únicos.
• Seguridad y Ética: JUBAKU proporciona una herramienta crucial para la evaluación de seguridad de LLMs en el mercado japonés, permitiendo identificar y mitigar riesgos de discriminación que podrían reforzar estereotipos dañinos en aplicaciones del mundo real.
• Limitaciones y Futuro: Los autores reconocen que el dataset no cubre todas las posibles categorías (como edad u orientación sexual) y que la evaluación actual se centra en la "seguridad" (evitar sesgos) más que en la "utilidad" (calidad de la respuesta). Futuras investigaciones podrían equilibrar ambos aspectos.

En conclusión, JUBAKU establece un nuevo estándar para la evaluación de sesgos en LLMs, demostrando que la construcción adversarial basada en normas culturales locales es esencial para garantizar la seguridad y equidad de la IA en contextos no anglófonos.