💬 NLP

Polite on the Surface, Wrong in Practice: A Curated Dataset for Fixing Honorific Failures in Multilingual Bangla Generation

Este artigo apresenta o BLADE, um conjunto de dados curado com 4.196 pares de interação projetado para abordar falhas de tratamento e pragmática na geração multilíngue em bangla, demonstrando que o ajuste fino de modelos de pesos abertos sobre esse recurso melhora significativamente a fidelidade estrutural e o alinhamento cultural.

Autores originais: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Publicado 2026-05-22

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Md. Asaduzzaman Shuvo, Mahedi Hasan, Md. Tashin Parvez, Azizul Haque Noman, Md. Shafayet Hossain Ovi

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: O Robô "Polido, mas Desinformado"

Imagine que você pede a um robô muito inteligente e bem lido que escreva uma carta formal ao diretor da sua escola solicitando alguns dias de folga. O robô escreve algo que parece perfeito à primeira vista. Tem palavras grandiosas, está gramaticalmente correto e flui bem.

Mas, então, você lê com mais atenção. O robô começa a carta dizendo "Prezado Senhor", mas no meio do texto, muda para falar com o diretor como se fosse seu melhor amigo, usando gírias e pronomes informais. Pode dizer: "Ei, pode me dar um tempo?" logo após dizer "Respeitosamente solicito sua permissão".

Para um falante nativo, isso é um desastre. É como usar um smoking em um funeral e, em seguida, fazer um salto mortal ao entrar. O robô soa fluente, mas falha no teste mais importante: competência social.

O artigo argumenta que os modelos de IA atuais (LLMs) são ótimos em aprender vocabulário, mas terríveis em aprender regras culturais, especialmente para idiomas como o Bangla, onde a forma como você fala muda dependendo de com quem está falando (honoríficos).

A Solução: O Conjunto de Dados "BLADE"

Para corrigir isso, os pesquisadores criaram um manual de treinamento especial chamado BLADE (Aplicações e Diálogos em Bangla).

Pense nos dados de treinamento de IA existentes como uma biblioteca gigante de livros aleatórios, artigos de notícias e comentários da internet. É enorme, mas é bagunçado. Se você quiser aprender a escrever uma carta formal, pode encontrar alguns exemplos, mas eles podem estar misturados com texto casual ou conter erros.

O BLADE é diferente. É como um workshop de escrita rigoroso, liderado por especialistas.

O Conteúdo: Contém 4.196 exemplos cuidadosamente elaborados de solicitações formais (como pedidos de licença) e diálogos.
Os Professores: Eles não foram escritos apenas por computadores. Foram curados por humanos, verificados contra livros didáticos governamentais e validados por especialistas em linguagem para garantir que os "níveis de polidez" (honoríficos) fossem perfeitos.
A Regra: Cada exemplo ensina à IA que, em um ambiente formal, você deve sempre usar a versão "respeitosa" de "você", nunca a versão "casual", e deve seguir uma estrutura específica (Data → Destinatário → Assunto → Corpo → Encerramento).

O Experimento: Ensinando as Regras ao Robô

Os pesquisadores pegaram vários modelos de IA populares (alguns enormes, outros pequenos) e deram a eles uma escolha:

O Teste "Zero-Shot": Pedir à IA que escreva uma carta sem nenhum treinamento especial. (Resultado: A IA soou fluente, mas cometeu erros grosseiros, como misturar linguagem formal e informal).
O Teste "Ajuste Fino" (Fine-Tuning): Alimentar a IA com o conjunto de dados BLADE para aprender as regras específicas da escrita formal em Bangla.

Os Resultados:

Antes do Treinamento: Mesmo os maiores e mais caros modelos de IA falharam em escrever uma carta utilizável. Obtiveram pontuações baixas porque não entendiam as regras sociais.
Depois do Treinamento: Os modelos melhoraram dramaticamente.
- O Vencedor "Pequeno": Um modelo minúsculo (apenas 1,5 bilhão de parâmetros) treinado no BLADE realmente teve um desempenho melhor do que os modelos massivos não treinados.
- A Analogia: É como pegar um pequeno chef local que conhece a receita exata de um prato tradicional e dar a ele um livro de receitas perfeito. Ele cozinhará uma refeição melhor do que um chef mundialmente famoso que nunca viu aquela receita específica antes.

Principais Conclusões

Qualidade dos Dados > Tamanho do Modelo: Para idiomas com regras sociais complexas (como o Bangla), ter um cérebro enorme não é suficiente. Você precisa dos dados de treinamento certos. Um modelo pequeno com dados de alta qualidade e culturalmente específicos supera um modelo gigante com dados genéricos.
A "Lacuna Pragmática": Há uma enorme diferença entre um modelo que consegue falar um idioma e um modelo que consegue usá-lo corretamente na vida real. O artigo mostra que, sem treinamento específico, a IA falha na parte da "vida real".
A Estrutura Importa: A IA não aprendeu apenas palavras; aprendeu a forma de um documento formal. Aprendeu que uma carta formal precisa de uma data no topo e um encerramento específico no final, e não apenas parágrafos aleatórios.

O Que o Artigo Não Afirma

Não afirma que isso resolve todos os problemas da IA.
Não afirma que isso funciona para gírias informais ou mensagens casuais (o conjunto de dados focou em escrita formal e institucional).
Não afirma que os modelos agora são perfeitos; eles são apenas muito melhores nesta tarefa específica do que antes.

Em resumo: O artigo diz: "Se você quer que uma IA escreva uma carta formal em Bangla, não dê apenas a ela um cérebro maior. Dê a ela um professor melhor e um livro de regras rigoroso."

Resumo Técnico: BLADE – Corrigindo Falhas de Tratamento na Geração Multilíngue em Bangla

1. Declaração do Problema

Apesar dos avanços nos Modelos de Linguagem Grandes Multilíngues (MLLMs), uma "lacuna pragmática" crítica persiste em idiomas de recursos limitados como o Bangla. Embora os modelos frequentemente alcancem fluência em nível superficial, eles falham em aderir às convenções culturais e estruturais profundas necessárias para a usabilidade funcional. Especificamente, modelos de propósito geral lutam com:

Inconsistência de Tratamento: O Bangla codifica relações sociais gramaticalmente através de um sistema de tratamento de dois níveis (Apni para formal/respeitoso, Tumi para informal). Modelos zero-shot frequentemente misturam esses registros dentro de um único documento (por exemplo, dirigindo-se a um diretor de escola com pronomes informais), tornando a saída institucionalmente inaceitável.
Deficiências Estruturais: Os modelos frequentemente omitem componentes obrigatórios do documento (data, linha de assunto, saudação, assinatura) ou os posicionam incorretamente, falhando em seguir a ordem canônica da escrita institucional em Bangla.
Cegueira de Registro: Os dados de pré-treinamento atuais, frequentemente derivados de corpora em escala da web ou instruções traduzidas por máquina, carecem da "supervisão consciente de registro" necessária para internalizar marcadores discursivos sensíveis ao formato e culturalmente apropriados.

Os autores argumentam que isso não é um problema de vocabulário, mas uma limitação estrutural que afeta qualquer idioma onde a escrita institucional codifica gramaticalmente relações sociais.

2. Metodologia

O Conjunto de Dados BLADE

Para abordar essas lacunas, os autores introduzem o BLADE (Aplicações e Diálogos em BangLa), um conjunto de dados de ajuste de instruções curado, compreendendo 4.196 pares de prompt-resposta de alta qualidade em 2.008 tópicos únicos. O conjunto de dados abrange domínios educacionais, profissionais, administrativos e conversacionais.

Pipeline de Aquisição de Dados (Três Níveis):

Livros Didáticos Institucionais (1.972 amostras): Extraídos de livros didáticos aprovados pelo governo (NCTB) para estabelecer um "padrão ouro" para formatação canônica de documentos.
Portais Web Públicos (1.382 amostras): Curados a partir de portais educacionais em Bangla verificados, com ~23% descartados devido a inconsistências de registro ou estruturas malformadas.
Exemplos Sintetizados pelos Autores (842 amostras): Criados especificamente para abordar cenários complexos e sub-representados (por exemplo, diálogos de múltiplas voltas exigindo consistência sustentada de tratamento), validados cruzadamente por especialistas linguísticos nativos.

Princípios de Design Chave:

Consciência de Registro: Imposição de alinhamento consistente de saudações, pronomes, morfologia verbal e encerramentos.
Fidelidade Estrutural: Adesão estrita à ordem canônica do documento (Data → Destinatário → Assunto → Saudação → Corpo → Encerramento → Assinatura).
Diversidade Topical: Foco na escrita institucional do mundo real em vez de conteúdo genérico da web.

Configuração Experimental

Linha de Base Zero-Shot: Cinco modelos de última geração (incluindo Gemini-2.5-Flash, LLaMA-4-Scout-17B, Kimi-K2-32B) foram avaliados no BLADE sem ajuste fino.
Ajuste Fino Supervisionado (SFT): Quatro arquiteturas (DeepSeek-8B, Qwen2-1.5B, LLaMA-3.2-3B, TigerLLM-1B) foram ajustadas finamente usando Ajuste Fino Eficiente em Parâmetros (PEFT).
- Técnica: LoRA (Adaptação de Baixo Rango) com rango $r=16$ , $\alpha=32$ .
- Quantização: 4-bit NormalFloat (NF4).
- Hardware: Duas GPUs NVIDIA Tesla T4 (32 GB de VRAM).
- Configuração: 2 épocas, comprimento de sequência de 2048 tokens (com empacotamento de janela deslizante), decaimento da taxa de aprendizado cosinual ( $2\times10^{-5}$ ) e um modelo de prompt consciente de formato.

Métricas de Avaliação

O estudo emprega um framework de avaliação multifacetado:

Métricas Automáticas: BLEU, chrF (pontuação F de n-gramas de caracteres), ROUGE-L, WER (Taxa de Erro de Palavras) e BERTScore.
LLM como Juiz: O GPT-4.1 pontuou 450 amostras em uma escala de 1 a 10 com base na correção estrutural, consistência de registro e relevância semântica.
Avaliação Humana: Três especialistas nativos em filologia em Bangla avaliaram 100 amostras estratificadas em uma escala Likert de 5 pontos para Integridade Estrutural, Fluência e Alinhamento Cultural.

3. Resultados Principais

Desempenho Zero-Shot

Mesmo as linhas de base zero-shot mais fortes (por exemplo, Gemini-2.5-Flash) falharam em produzir documentos em Bangla funcionalmente utilizáveis, alcançando um BLEU máximo de apenas 7,88.

Modos de Falha: Deslocamento estrutural sistemático (datas/assuntos ausentes) e incompatibilidade de tratamento (oscilação entre Apni e Tumi).
Pontuações Humanas: As linhas de base zero-shot obtiveram uma pontuação média de 1,85/5 em Integridade Estrutural.

Desempenho de Ajuste Fino

O ajuste fino no BLADE produziu melhorias substanciais em todos os modelos, demonstrando que a qualidade dos dados supera a escala do modelo para geração pragmática de recursos limitados.

DeepSeek-8B: Mostrou a melhoria mais dramática, com BLEU aumentando 22 vezes (0,78 → 17,73) e chrF subindo de 9,85 para 45,87. A pontuação do juiz LLM saltou de 3,8 para 8,9.
Qwen2-1.5B: Apesar de seu tamanho reduzido, alcançou a menor WER pós-SFT (0,84) e o maior BERTScore (0,748), superando o Gemini-2.5-Flash zero-shot nessas métricas.
Avaliação Humana: Modelos pós-SFT alcançaram pontuações médias superiores a 4,6/5 em todas as dimensões (Estrutura, Fluência, Alinhamento Cultural).
Convergência: Métricas automáticas, pontuações de juízes LLM e avaliações de especialistas humanos convergiram, confirmando melhorias genuínas na usabilidade funcional em vez de inflação superficial de métricas.

Estudo de Ablação

O estudo identificou vários fatores críticos para o sucesso:

Comprimento de Contexto: Estender para 2048 tokens (vs. 512) foi decisivo para preservar a integridade estrutural de textos longos.
Design de Prompt: Modelos de prompt conscientes de formato e tags de papel explícitas reduziram significativamente a WER e melhoraram as pontuações estruturais.
Configuração do Adaptador: Aplicar LoRA tanto às camadas de atenção quanto às camadas MLP superou a adaptação apenas de atenção.

4. Significado e Alegações

O artigo alega que a especificidade cultural dos dados de ajuste de instruções é mais crítica do que a escala do modelo para geração pragmática de recursos limitados.

Dados sobre Escala: Um modelo compacto (Qwen2-1.5B) ajustado finamente em dados curados por especialistas e conscientes de registro superou modelos de fronteira zero-shot (Gemini-2.5-Flash) que são ordens de magnitude maiores.
Usabilidade Funcional: A contribuição principal é deslocar as saídas dos modelos de "fluência em nível superficial" para documentos "institucionalmente aceitáveis". Os autores argumentam que, sem supervisão consciente de registro, o pré-treinamento de propósito geral não pode substituir as convenções culturais específicas exigidas em idiomas como o Bangla.
Avaliação Comparativa (Benchmarking): O BLADE serve como uma avaliação comparativa rigorosa para medir lacunas pragmáticas e avaliar a eficácia de estratégias de ajuste fino em ambientes de recursos limitados e alto contexto.

Os autores concluem que o BLADE fornece um caminho para superar disparidades pragmáticas na geração de texto multilíngue, sugerindo que o progresso futuro em idiomas desassistidos depende de supervisão de alta qualidade e específica de domínio, em vez de meramente aumentar contagens de parâmetros.