💬 NLP

Polite on the Surface, Wrong in Practice: A Curated Dataset for Fixing Honorific Failures in Multilingual Bangla Generation

Este artículo presenta BLADE, un conjunto de datos curado de 4.196 pares de interacción diseñado para abordar fallos en el uso de honoríficos y pragmática en la generación multilingüe en bengalí, demostrando que el ajuste fino de modelos de pesos abiertos sobre este recurso mejora significativamente la fidelidad estructural y la alineación cultural.

Autores originales: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Publicado 2026-05-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Problema Central: El Robot "Polido pero Desconocedor"

Imagina que le pides a un robot muy inteligente y bien leído que redacte una carta formal a tu director escolar solicitando unos días de permiso. El robot escribe algo que parece perfecto a primera vista. Tiene palabras grandes, es gramaticalmente correcto y fluye bien.

Pero luego, lees más de cerca. El robot comienza la carta diciendo "Estimado Señor", pero a mitad de camino cambia a hablarle al director como si fuera tu mejor amigo, usando jerga y pronombres informales. Podría decir: "Oye, ¿me puedes hacer un favor?" justo después de decir "Solicito respetuosamente su permiso".

Para un hablante nativo, esto es un desastre. Es como llevar un esmoquin a un funeral y luego hacer una voltereta al entrar. El robot suena fluido, pero falla en la prueba más importante: la competencia social.

El artículo argumenta que los modelos de IA actuales (LLM) son excelentes aprendiendo vocabulario, pero terribles aprendiendo reglas culturales, especialmente para idiomas como el bengalí, donde la forma de hablar cambia según a quién te diriges (los honoríficos).

La Solución: El Conjunto de Datos "BLADE"

Para solucionar esto, los investigadores crearon un manual de entrenamiento especial llamado BLADE (Aplicaciones y Diálogos en Bengala).

Piensa en los datos de entrenamiento de la IA existentes como una biblioteca gigante de libros aleatorios, artículos de noticias y comentarios de internet. Es enorme, pero está desordenada. Si quieres aprender a escribir una carta formal, podrías encontrar algunos ejemplos, pero podrían estar mezclados con texto casual o contener errores.

BLADE es diferente. Es como un taller de escritura estricto dirigido por expertos.

El Contenido: Contiene 4.196 ejemplos cuidadosamente elaborados de solicitudes formales (como peticiones de permiso) y diálogos.
Los Profesores: Estos no fueron escritos simplemente por computadoras. Fueron curados por humanos, verificados contra libros de texto gubernamentales y confirmados por expertos en idioma para asegurar que los "niveles de cortesía" (honoríficos) fueran perfectos.
La Regla: Cada ejemplo individual le enseña a la IA que, en un entorno formal, siempre debes usar la versión "respetuosa" de "tú", nunca la versión "casual", y debes seguir una estructura específica (Fecha → Destinatario → Asunto → Cuerpo → Despedida).

El Experimento: Enseñándole las Reglas al Robot

Los investigadores tomaron varios modelos de IA populares (algunos enormes, otros pequeños) y les dieron una opción:

La Prueba "Zero-Shot" (Sin entrenamiento previo): Pedirle a la IA que escriba una carta sin ningún entrenamiento especial. (Resultado: La IA sonaba fluida pero cometía errores groseros, como mezclar lenguaje formal e informal).
La Prueba "Fine-Tuning" (Ajuste fino): Alimentar a la IA con el conjunto de datos BLADE para que aprenda las reglas específicas de la escritura formal en bengalí.

Los Resultados:

Antes del Entrenamiento: Incluso los modelos de IA más grandes y costosos fallaron al escribir una carta utilizable. Obtuvieron puntuaciones bajas porque no entendían las reglas sociales.
Después del Entrenamiento: Los modelos mejoraron drásticamente.
- El Ganador "Pequeño": Un modelo diminuto (solo 1.5 mil millones de parámetros) entrenado con BLADE en realidad funcionó mejor que los modelos masivos sin entrenamiento.
- La Analogía: Es como tomar a un chef pequeño y local que conoce la receta exacta de un plato tradicional y darle un libro de cocina perfecto. Cocinarán una comida mejor que un chef mundialmente famoso que nunca ha visto esa receta específica antes.

Conclusiones Clave

Calidad de los Datos > Tamaño del Modelo: Para idiomas con reglas sociales complejas (como el bengalí), tener un cerebro masivo no es suficiente. Necesitas los datos de entrenamiento correctos. Un modelo pequeño con datos de alta calidad y culturalmente específicos supera a un modelo gigante con datos genéricos.
La "Brecha Pragmática": Hay una gran diferencia entre un modelo que puede hablar un idioma y un modelo que puede usarlo correctamente en la vida real. El artículo muestra que, sin un entrenamiento específico, la IA falla en la parte de "vida real".
La Estructura Importa: La IA no solo aprendió palabras; aprendió la forma de un documento formal. Aprendió que una carta formal necesita una fecha en la parte superior y una despedida específica en la parte inferior, no solo párrafos aleatorios.

Lo que el Artículo No Afirma

No afirma que esto solucione todos los problemas de la IA.
No afirma que esto funcione para jerga informal o mensajes de texto casuales (el conjunto de datos se centró en la escritura formal e institucional).
No afirma que los modelos sean ahora perfectos; simplemente son mucho mejores en esta tarea específica que antes.

En resumen: El artículo dice: "Si quieres que una IA escriba una carta formal en bengalí, no le des solo un cerebro más grande. Dale un mejor profesor y un libro de reglas estricto".

Resumen Técnico: BLADE – Solución a Fallos de Honoríficos en la Generación Multilingüe en Bangla

1. Declaración del Problema

A pesar de los avances en los Modelos de Lenguaje Grandes Multilingües (MLLM), persiste una "brecha pragmática" crítica en idiomas de recursos limitados como el bangla. Aunque los modelos a menudo logran fluidez a nivel superficial, no cumplen con las convenciones culturales y estructurales profundas requeridas para la usabilidad funcional. Específicamente, los modelos de propósito general luchan con:

Inconsistencia de Honoríficos: El bangla codifica las relaciones sociales gramaticalmente mediante un sistema de honoríficos de dos niveles (Apni para formal/respetuoso, Tumi para informal). Los modelos de cero disparos (zero-shot) mezclan frecuentemente estos registros dentro de un solo documento (por ejemplo, dirigirse a un director de escuela con pronombres informales), haciendo que la salida sea institucionalmente inaceptable.
Deficiencias Estructurales: Los modelos a menudo omiten componentes obligatorios del documento (fecha, asunto, saludo, firma) o los colocan incorrectamente, no siguiendo el orden canónico de la escritura institucional en bangla.
Ceguera de Registro: Los datos de preentrenamiento actuales, a menudo derivados de corpus a escala web o instrucciones traducidas automáticamente, carecen de la "supervisión consciente del registro" necesaria para internalizar marcadores discursivos sensibles al formato y culturalmente apropiados.

Los autores argumentan que esto no es un problema de vocabulario, sino una limitación estructural que afecta a cualquier idioma donde la escritura institucional codifica gramaticalmente las relaciones sociales.

2. Metodología

El Conjunto de Datos BLADE

Para abordar estas brechas, los autores introducen BLADE (Aplicaciones y Diálogos en BangLa), un conjunto de datos de ajuste de instrucciones curado que comprende 4.196 pares de instrucciones-respuesta de alta calidad en 2.008 temas únicos. El conjunto de datos abarca dominios educativos, profesionales, administrativos y conversacionales.

Pipeline de Adquisición de Datos (Tres Niveles):

Libros de Texto Institucionales (1.972 muestras): Extraídos de libros de texto aprobados por el gobierno (NCTB) para establecer un "estándar de oro" para el formato documental canónico.
Portales Web Públicos (1.382 muestras): Curados a partir de portales educativos bangla verificados, con un ~23% descartado debido a inconsistencias de registro o estructuras malformadas.
Ejemplos Sintetizados por los Autores (842 muestras): Construidos a propósito para abordar escenarios complejos y subrepresentados (por ejemplo, diálogos de múltiples turnos que requieren consistencia sostenida de honoríficos), validados cruzadamente por expertos lingüísticos nativos.

Principios Clave de Diseño:

Conciencia del Registro: Imponer una alineación consistente de saludos, pronombres, morfología verbal y despedidas.
Fidelidad Estructural: Adherencia estricta al orden documental canónico (Fecha → Destinatario → Asunto → Saludo → Cuerpo → Despedida → Firma).
Diversidad Temática: Enfocarse en la escritura institucional del mundo real en lugar de contenido web genérico.

Configuración Experimental

Línea Base de Cero Disparos (Zero-Shot): Se evaluaron cinco modelos de última generación (incluyendo Gemini-2.5-Flash, LLaMA-4-Scout-17B, Kimi-K2-32B) en BLADE sin ajuste fino.
Ajuste Fino Supervisado (SFT): Se ajustaron finamente cuatro arquitecturas (DeepSeek-8B, Qwen2-1.5B, LLaMA-3.2-3B, TigerLLM-1B) utilizando Ajuste Fino Eficiente en Parámetros (PEFT).
- Técnica: LoRA (Adaptación de Bajo Rango) con rango $r=16$ , $\alpha=32$ .
- Cuantización: 4-bit NormalFloat (NF4).
- Hardware: Dos GPUs NVIDIA Tesla T4 (32 GB de VRAM).
- Configuración: 2 épocas, longitud de secuencia de 2048 tokens (con empaquetado de ventana deslizante), decaimiento de tasa de aprendizaje coseno ( $2\times10^{-5}$ ), y una plantilla de instrucción consciente del formato.

Métricas de Evaluación

El estudio emplea un marco de evaluación multifacético:

Métricas Automáticas: BLEU, chrF (puntuación F de n-gramas de caracteres), ROUGE-L, Tasa de Error de Palabras (WER) y BERTScore.
LLM como Juez: GPT-4.1 puntuó 450 muestras en una escala de 1 a 10 basándose en la corrección estructural, la consistencia del registro y la relevancia semántica.
Evaluación Humana: Tres expertos nativos en filología bangla calificaron 100 muestras estratificadas en una escala Likert de 5 puntos para Integridad Estructural, Fluidez y Alineación Cultural.

3. Resultados Clave

Rendimiento de Cero Disparos (Zero-Shot)

Incluso las líneas base de cero disparos más fuertes (por ejemplo, Gemini-2.5-Flash) no lograron producir documentos en bangla funcionalmente utilizables, alcanzando un BLEU máximo de solo 7.88.

Modos de Fallo: Desplazamiento estructural sistemático (falta de fechas/asuntos) y desajuste de honoríficos (oscilación entre Apni y Tumi).
Puntuaciones Humanas: Las líneas base de cero disparos obtuvieron un promedio de 1.85/5 en Integridad Estructural.

Rendimiento del Ajuste Fino

El ajuste fino en BLADE produjo mejoras sustanciales en todos los modelos, demostrando que la calidad de los datos supera a la escala del modelo para la generación pragmática de recursos limitados.

DeepSeek-8B: Mostró la mejora más dramática, con un BLEU que aumentó 22 veces (0.78 → 17.73) y un chrF que subió de 9.85 a 45.87. La puntuación del juez LLM saltó de 3.8 a 8.9.
Qwen2-1.5B: A pesar de su pequeño tamaño, logró la Tasa de Error de Palabras (WER) más baja post-SFT (0.84) y la BERTScore más alta (0.748), superando al Gemini-2.5-Flash de cero disparos en estas métricas.
Evaluación Humana: Los modelos post-SFT alcanzaron puntuaciones promedio superiores a 4.6/5 en todas las dimensiones (Estructura, Fluidez, Alineación Cultural).
Convergencia: Las métricas automáticas, las puntuaciones del juez LLM y las evaluaciones de expertos humanos convergieron, confirmando mejoras genuinas en la usabilidad funcional en lugar de una inflación superficial de métricas.

Estudio de Ablación

El estudio identificó varios factores críticos para el éxito:

Longitud de Contexto: Extender a 2048 tokens (frente a 512) fue decisivo para preservar la integridad estructural de textos largos.
Diseño de Instrucciones: Las plantillas conscientes del formato y las etiquetas de rol explícitas redujeron significativamente la WER y mejoraron las puntuaciones estructurales.
Configuración del Adaptador: Aplicar LoRA tanto a las capas de atención como a las capas MLP superó a la adaptación solo de atención.

4. Significado y Afirmaciones

El artículo afirma que la especificidad cultural de los datos de ajuste de instrucciones es más crítica que la escala del modelo para la generación pragmática de recursos limitados.

Datos sobre Escala: Un modelo compacto (Qwen2-1.5B) ajustado finamente en datos curados por expertos y conscientes del registro superó a modelos fronterizos de cero disparos (Gemini-2.5-Flash) que son órdenes de magnitud más grandes.
Usabilidad Funcional: La contribución principal es desplazar las salidas de los modelos de "fluidez a nivel superficial" a documentos "institucionalmente aceptables". Los autores argumentan que, sin supervisión consciente del registro, el preentrenamiento de propósito general no puede sustituir las convenciones culturales específicas requeridas en idiomas como el bangla.
Puntuación de Referencia (Benchmarking): BLADE sirve como una referencia rigurosa para medir las brechas pragmáticas y evaluar la eficacia de las estrategias de ajuste fino en entornos de recursos limitados y alto contexto.

Los autores concluyen que BLADE proporciona una vía para cerrar las disparidades pragmáticas en la generación de texto multilingüe, sugiriendo que el progreso futuro en idiomas desatendidos depende de una supervisión de alta calidad y específica del dominio, en lugar de simplemente aumentar la cantidad de parámetros.