ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

Este trabajo presenta ThaiSafetyBench, un nuevo benchmark de código abierto con 1.954 prompts maliciosos en tailandés que revela que los modelos de lenguaje actuales son más vulnerables a ataques culturalmente contextualizados que a ataques generales, destacando la necesidad de mejorar la seguridad de los modelos en contextos no anglófonos.

Lo esencial

¡Hola! Imagina que las Inteligencias Artificiales (IA) son como cocineros gigantes que pueden preparar cualquier plato que les pidas. Hasta ahora, la mayoría de los expertos han estado probando a estos cocineros solo con recetas en inglés. Pero, ¿qué pasa si le pides un plato típico de Tailandia, con sus especias locales y sus tabúes culturales? Es muy probable que el cocinero, aunque sea muy bueno en inglés, se equivoque, ofenda o incluso sirva algo peligroso porque no entiende la "sazón" de la cultura tailandesa.

Aquí te explico el papel "ThaiSafetyBench" como si fuera una historia:

1. El Problema: El "Sabor" que falta

Los investigadores notaron que las IAs son muy buenas evitando cosas malas en inglés, pero cuando se les habla en tailandés o se les pide algo relacionado con la cultura local (como respetar a la monarquía o evitar chismes falsos locales), se vuelven un poco "ciegas". Es como si un guardaespaldas estuviera entrenado para detectar armas en un idioma, pero no supiera reconocer una piedra lanzada en otro idioma.

2. La Solución: El "Gimnasio de Entrenamiento" (ThaiSafetyBench)

Para arreglar esto, el equipo creó un gimnasio de pruebas llamado ThaiSafetyBench.

• ¿Qué es? Es una lista de 1,954 preguntas "malvadas" escritas específicamente en tailandés.
• La mezcla: No son solo preguntas malas genéricas. Hay dos tipos:
  1. Las genéricas: "¿Cómo fabrico una bomba?" (Peligro universal).
  2. Las culturales: "¿Cómo puedo ofender a la familia real?" o "¿Cómo difundo un rumor falso sobre una fiesta local?". Estas son las que realmente ponen a prueba si la IA entiende la cultura.

3. La Prueba de Fuego: 24 Cocineros en la Arena

Los autores tomaron 24 IAs diferentes (algunas muy famosas y cerradas como GPT-4, y otras de código abierto que cualquiera puede descargar) y las sometieron a este examen.

• Los jueces: Para calificar, usaron a dos "super-cocineros" (GPT-4.1 y Gemini-2.5-Pro) que actuaron como jueces imparciales. Leían la respuesta de la IA y decían: "¿Esto es seguro o es peligroso?".
• El resultado:
  • Las IAs "cerradas" (las de pago) generalmente se portaron mejor, como cocineros con mucha experiencia.
  • Las IAs "abiertas" (gratuitas) a menudo fallaron más, especialmente en las preguntas culturales.
  • El hallazgo más importante: Las IAs fallaron mucho más cuando las preguntas eran específicamente tailandesas que cuando eran generales. ¡Es como si el cocinero supiera cocinar arroz, pero quemara el curry tailandés!

4. La Herramienta Mágica: El "Detector de Humo" (ThaiSafetyClassifier)

Evaluar a 24 IAs manualmente es caro y lento (como revisar cada plato a mano). Para ayudar a todos, los autores crearon un pequeño programa llamado ThaiSafetyClassifier.

• Cómo funciona: Es un "detective" automático basado en una tecnología llamada DeBERTa. Mira la pregunta y la respuesta, y te dice rápidamente: "¡Peligro!" o "¡Seguro!".
• Su superpoder: Es tan bueno que casi piensa igual que los jueces humanos (o las IAs gigantes), pero es mucho más rápido y barato. Además, lo regalan gratis para que otros investigadores lo usen.

5. El Tablero de Honor (Leaderboard)

Finalmente, crearon un punto de encuentro en internet (un tablero de clasificación) donde cualquiera puede ver qué IA es la más segura en Tailandia hoy en día. Es como un ranking de deportes, pero en lugar de goles, cuentan cuántas veces la IA se portó mal. Esto anima a los desarrolladores a mejorar sus modelos para subir en la lista.

En Resumen

Este trabajo es como decir: "No basta con que una IA sea inteligente en inglés; para ser verdaderamente segura, debe entender el corazón y la cultura de cada país donde vive".

Los autores nos dieron el mapa (el dataset), el entrenamiento (la prueba), la herramienta de medición (el clasificador) y el estadio (el tablero) para que sigamos construyendo IAs que respeten y protejan a la gente tailandesa, y sirvan de ejemplo para el resto del mundo.

¿El mensaje final? La seguridad de la IA no es un tamaño único; debe ser cosida a la medida de cada cultura.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "THAISAFETYBENCH: ASSESSING LANGUAGE MODEL SAFETY IN THAI CULTURAL CONTEXTS", presentado en el taller ICLR 2026 sobre Diseño Principiado para IA Confiable.

1. El Problema

La evaluación de seguridad de los Modelos de Lenguaje Grande (LLM) está actualmente dominada por el inglés, dejando subexplorados los riesgos en idiomas no ingleses y, crucialmente, aquellos arraigados en contextos culturales específicos.

• Brecha Cultural y Lingüística: Las investigaciones indican que los ataques a LLMs en idiomas de bajos recursos (como el tailandés) tienen tasas de éxito más altas que en idiomas de alto recurso como el inglés.
• Falta de Datos Específicos: Los conjuntos de datos y benchmarks existentes (ej. AdvBench, SALAD-Bench) carecen de matices culturales, modismos y sensibilidades sociales propias de regiones no angloparlantes.
• Vacío en Tailandia: No existían datasets públicos de seguridad en tailandés que reflejaran adecuadamente los contextos culturales tailandeses, lo que impedía comparar el rendimiento de seguridad de los modelos o identificar vulnerabilidades específicas en aplicaciones tailandesas.

2. Metodología

Los autores propusieron un enfoque integral que incluye la creación de un dataset, la evaluación de modelos y el desarrollo de herramientas de clasificación.

A. ThaiSafetyBench (Dataset)

• Composición: Un conjunto de datos de código abierto con 1,954 prompts maliciosos en tailandés.
• Taxonomía Jerárquica: Cubre 6 áreas de riesgo y 17 tipos de daño, incluyendo categorías generales y específicas de la cultura tailandesa (ej. "Monarquía", "Problemas Fronterizos", "Etiqueta Social").
• Construcción del Dataset:
  1. Traducción: Traducción manual y refinada del dataset Do-Not-Answer al tailandés.
  2. Curación: Filtrado y limpieza de un dataset de seguridad tailandés existente (Typhoon2).
  3. Generación Adicional: Creación de nuevas muestras mediante LLMs sin censura (validados por expertos), transformación de datos de noticias falsas y creación manual basada en guías de etiqueta social tailandesa.
  • Nota: El 51.9% de las muestras están explícitamente arraigadas en contextos culturales tailandeses.

B. Evaluación de Modelos

• Modelos Evaluados: Se probaron 24 LLMs, incluyendo modelos comerciales cerrados (GPT-5, Claude 4.5), modelos de código abierto multilingües (Llama, Qwen, Gemma), modelos ajustados para el Sudeste Asiático (SeaLLMs) y modelos ajustados específicamente para Tailandia (Typhoon2, OpenThaiGPT).
• Método de Evaluación: Se utilizó un marco automatizado con LLM-as-a-Judge. Dos modelos jueces independientes, GPT-4.1 y Gemini-2.5-Pro, clasificaron las respuestas como "seguras" o "dañinas".
• Métrica Principal: Tasa de Éxito del Ataque (ASR - Attack Success Rate), definida como la proporción de respuestas dañinas. Se reporta el promedio de los dos jueces.

C. ThaiSafetyClassifier

• Para mejorar la reproducibilidad y reducir costos, se fine-tuneó un clasificador binario basado en DeBERTaV3 utilizando LoRA.
• Este clasificador predice si una respuesta es dañina basándose en el par (prompt, respuesta), logrando una alta correlación con los juicios de GPT-4.1.

3. Contribuciones Clave

1. ThaiSafetyBench Dataset: El primer benchmark de seguridad en tailandés de alta calidad, con 1,954 prompts que incluyen casos contextualizados culturalmente y una taxonomía jerárquica.
2. Evaluación Exhaustiva: Análisis de seguridad de 24 modelos diversos, proporcionando una línea base para la comunidad tailandesa.
3. ThaiSafetyBench Leaderboard: Una plataforma pública y actualizable que clasifica los modelos según su rendimiento en seguridad.
4. ThaiSafetyClassifier: Un clasificador ligero y de bajo costo (DeBERTa) con un F1 ponderado del 84.4%, liberado para facilitar evaluaciones reproducibles.

4. Resultados Principales

• Rendimiento General: Los modelos de código cerrado (ej. GPT-5, Claude) mostraron un rendimiento de seguridad superior en general. Sin embargo, algunos modelos de código abierto (como SeaLLMs-v3-7B) demostraron un rendimiento comparable a los cerrados, mientras que otros modelos de código abierto tuvieron ASR significativamente más altos.
• Vulnerabilidad Cultural: Se observó una tasa de éxito de ataque (ASR) consistentemente más alta para los ataques específicos de la cultura tailandesa en comparación con los ataques generales en tailandés. Esto indica que los métodos actuales de alineación de seguridad no capturan adecuadamente los matices culturales locales.
• Áreas de Riesgo:
  • Los modelos mostraron buen rendimiento en evitar la fuga de información sensible.
  • El área de "Daño Socio-Cultural Tailandés" (incluyendo temas de monarquía y etiqueta social) fue donde los modelos mostraron mayor debilidad.
• Relación Tamaño-Seguridad: Generalmente, los modelos más grandes (más parámetros) tienen un ASR más bajo (mejor seguridad). No obstante, la calidad de los datos de entrenamiento y el ajuste específico (fine-tuning) juegan un papel crítico, ya que algunos modelos pequeños ajustados para la región superaron a modelos base más grandes.
• Ajuste Continuo (CPT): La comparación entre modelos base multilingües y sus versiones ajustadas para el Sudeste Asiático o Tailandia no mostró una tendencia consistente; el éxito depende de la curación de los datos de pre-entrenamiento continuo y la alineación con requisitos de seguridad regionales.

5. Significado e Impacto

• Llamado a la Acción: El estudio demuestra que la seguridad en LLMs no es universal; los modelos deben ser evaluados y ajustados específicamente para los contextos culturales locales para ser verdaderamente seguros.
• Herramienta para la Comunidad: Al liberar el dataset, el clasificador y el leaderboard, los autores habilitan a la comunidad de investigación tailandesa a desarrollar modelos más robustos y éticos.
• Reproducibilidad: La provisión de un clasificador ligero basado en DeBERTa permite a otros investigadores evaluar la seguridad sin depender costosa y exclusivamente de LLMs comerciales como jueces.
• Limitaciones y Futuro: El trabajo reconoce que se centra en prompts maliciosos y no evalúa la utilidad de las respuestas "jailbreakeadas". Futuras investigaciones planean expandir el dataset y explorar técnicas de jailbreak más sofisticadas.

En resumen, ThaiSafetyBench establece un nuevo estándar para la evaluación de seguridad de IA en contextos no occidentales, destacando la vulnerabilidad crítica de los modelos actuales frente a ataques culturalmente contextualizados y proporcionando los recursos necesarios para mitigar estos riesgos en Tailandia.