BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction
El artículo presenta BANGLASOCIALBENCH, el primer benchmark diseñado para evaluar la competencia sociopragmática de los modelos de lenguaje en bengalí mediante el análisis de su uso contextual en jerarquías sociales, términos de parentesco y costumbres culturales, revelando que los modelos actuales carecen de alineación cultural al fallar sistemáticamente en la aplicación de normas sociales apropiadas en interacciones reales de Bangladesh.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que los Modelos de Lenguaje (como los que usan en Chatbots o asistentes de IA) son como estudiantes extranjeros muy inteligentes que han leído millones de libros y saben hablar muchos idiomas con una gramática perfecta.
Sin embargo, hay un problema: saben qué decir, pero no siempre saben cómo decirlo a la persona correcta.
Este documento presenta un nuevo examen llamado BANGLASOCIALBENCH, diseñado específicamente para poner a prueba a estas inteligencias artificiales en el idioma Bengalí (hablado en Bangladesh). No les pregunta "¿Cuál es la capital de Bangladesh?" (eso es fácil), sino que les pregunta: "¿Cómo le hablas a tu jefe, a tu abuela o a un niño en la calle sin ofenderlos?".
Aquí tienes la explicación sencilla con algunas analogías:
1. El Problema: La "Barrera Invisible"
En inglés, la palabra "tú" es casi siempre la misma. Pero en Bengalí, el lenguaje es como un tablero de ajedrez social. Tienes tres formas de decir "tú", y elegir la incorrecta es como poner un peón donde debería ir una reina:
- Apni: Para respetar a alguien (como hablarle a un juez o a un abuelo).
- Tumi: Para amigos o iguales (como hablarle a un compañero de clase).
- Tui: Para íntimos o niños pequeños (como hablarle a tu mejor amigo o a tu hijo).
Si un modelo de IA usa "Apni" (muy formal) con un niño, suena como un robot aburrido. Si usa "Tui" (muy informal) con un anciano, suena como un grosero. La fluidez no es suficiente; necesitas "inteligencia social".
2. La Prueba: Un "Simulador de Vida Real"
Los creadores de este estudio no hicieron preguntas de trivia. Crearon 1,719 situaciones de la vida real escritas por nativos bengalíes. Imagina que es como un videojuego de rol donde la IA debe elegir la respuesta correcta en escenarios como:
- El Metro: Un anciano le pide a un adolescente que se ponga en la fila. ¿Cómo lo llama?
- La Oficina: Un empleado habla con su jefa mujer. ¿Qué título usa?
- La Familia: ¿Cómo se llama la hermana de tu padre en una familia musulmana vs. una hindú? (¡Aquí es donde las IAs suelen confundirse y mezclar las tradiciones!).
3. Los Resultados: ¿Cómo les fue a las IAs?
Cuando probaron a 12 de las IAs más famosas (como GPT-4, Gemini, Claude, etc.), descubrieron patrones divertidos pero preocupantes:
- El Miedo a Ofender (Demasiado Corteses): La mayoría de las IAs actúan como un turista nervioso. Prefieren ser demasiado formales ("Apni") incluso cuando deberían ser relajados. Es como si en una fiesta de cumpleaños, en lugar de decir "¡Hola!", te pusieras un traje de gala y te arrodillaras.
- Confusión Religiosa: En Bangladesh, las palabras para "tío" o "abuela" cambian ligeramente si la familia es musulmana o hindú. Las IAs a menudo mezclan los dos mundos, como si un chef pusiera salsa de soja en un plato de curry tradicional.
- Falta de "Sentido Común": Las IAs fallan más cuando hay una diferencia de edad grande (un anciano hablando a un niño) o en situaciones informales. Les cuesta entender que el contexto social es más importante que la gramática perfecta.
4. La Conclusión: No basta con leer, hay que "vivir"
El estudio nos dice que las IAs actuales son como bibliotecarios que han leído todos los libros de etiqueta del mundo, pero nunca han salido a una fiesta real.
- Lo que hacen bien: Saben las reglas gramaticales.
- Lo que les falta: La "sensibilidad cultural". No entienden que el lenguaje es un baile donde debes ajustar tus pasos según con quién estés bailando.
En resumen:
Para que una Inteligencia Artificial sea realmente útil en culturas complejas como la de Bangladesh, no necesita solo más datos, necesita aprender a leer el aire de la habitación. Este nuevo examen (BANGLASOCIALBENCH) es el primer paso para enseñarles que, a veces, la forma en que dices algo es más importante que lo que dices.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.