Resumo Técnico: Homógrafos Culturalmente Emaranhados em LLMs de Baixos Recursos

Definição do Problema

O artigo aborda uma variante específica e pouco explorada da desambiguação de sentido de palavras (WSD) na língua bengali: Homógrafos Culturalmente Emaranhados (CEH). Diferente da WSD padrão, onde os sentidos concorrentes são definições lexicais distintas, o CEH envolve uma única forma de palavra que funciona simultaneamente como um nome próprio e um substantivo comum culturalmente carregado (ex: Maya como nome de uma menina e como "compaixão afetuosa"; Arif como nome de um menino e como "aquele que possui conhecimento intuitivo do divino" na teologia Sufi).

Resolver o CEH requer conhecimento cultural e pragmático em vez de estatísticas lexicais superficiais. Os autores argumentam que os atuais Grandes Modelos de Linguagem (LLMs), mesmo aqueles com pré-treinamento específico para o idioma, sofrem de um viés sistemático de significado dominante. Esses modelos recorrem ao sentido de substantivo comum e falham em reconhecer a leitura de nome próprio, indicando uma falta de verdadeiro enraizamento cultural, apesar da fluência linguística.

Metodologia

1. Construção do Conjunto de Dados (Benchmark de CEH em Bengali)

Os autores construíram um benchmark de 1.516 sentenças verificadas por especialistas contendo 3.032 ocorrências rotuladas.

• Estrutura: Cada sentença contém uma palavra-alvo que aparece duas vezes com leituras distintas (ex: uma vez como Nome, outra como Conceito/Emoção/Estado Espiritual).
• Anotação: Cada ocorrência é atribuída a uma de seis categorias culturalmente fundamentadas (Nome, Conceito, Emoção, Estado Emocional, Estado Coletivo, Espiritual) e acompanhada de uma explicação em linguagem natural sobre o raciocínio cultural por trás do rótulo.
• Geração & Verificação: As sentenças foram geradas usando três modelos de última geração (Claude Fable 5, Kimi K3, Gemini 3.5 Flash) para garantir diversidade. Um protocolo de verificação em duas etapas foi aplicado: verificação round-robin entre modelos seguida de revisão manual por dois falantes nativos de bengali, que serviram como autoridade final.

2. Regimes Experimentais

O estudo avalia modelos sob quatro níveis crescentes de supervisão:

1. Prompting Zero-Shot: Mede o enraizamento cultural imediato sem exemplos.
2. Prompting Few-Shot: Testa se demonstrações de contexto ajudam a reconhecer leituras emaranhadas.
3. C-CoT (Cadeia de Pensamento Cultural): Uma estratégia de prompting contrastiva onde o modelo deve argumentar explicitamente por ambas as leituras candidatas (Nome vs. Conceito) antes de se comprometer com uma decisão. Isso visa neutralizar o viés de significado dominante sem atualizações de parâmetros.
4. Ajuste Fino por Destilação de Conhecimento (KD): Pequenos modelos (1–3 bilhões de parâmetros) são ajustados via QLoRA usando as explicações culturais verificadas por humanos. Crucialmente, o alvo do treinamento é o rastro completo de raciocínio seguido pelo rótulo, não apenas o rótulo, forçando o modelo a internalizar o padrão de raciocínio cultural.

3. Modelos Avaliados

A avaliação abrange uma mistura de modelos de código aberto e proprietários:

• Código Aberto: Qwen2.5-1.5B, Llama-3.2-3B, Gemma-3-1B, Ministral-3B e TituLLM (um modelo específico para o bengali).
• Proprietário: GPT-4o-mini.

4. Métricas de Avaliação

• Trilha de Rótulos (Label Track): Correspondência Exata (EM), Pontuação Média, F1 Macro/Micro, Taxa de Alucinação e Taxa de Viés Dominante (frequência de perda do rótulo de Nome).
• Trilha de Raciocínio (Reasoning Track): chrF e BERTScore contra as explicações de referência, além de avaliações de Humano-como-Juiz e LLM-como-Juiz.

Principais Resultados

1. Viés Sistemático de Significado Dominante

Sob prompting zero-shot, todos os modelos de código aberto exibiram um viés severo para a leitura de substantivo comum.

• Taxas de Viés: Variaram de 62,5% (Ministral) a 100% (Gemma e TituLLM).
• Falha do TituLLM: O modelo específico para o bengali falhou completamente sob todos os regimes de prompting (Zero-shot, Few-shot, C-CoT), alucinando em 100% das entradas em alguns casos. Isso demonstra que o pré-treinamento específico para o idioma não confere, por si só, enraizamento cultural.
• GPT-4o-mini: Embora mais forte (43,87% EM, 16,35% de viés), ainda teve dificuldades significativas em relação aos requisitos da tarefa.

2. Limitações do Prompting

• Few-Shot: Melhorou o desempenho para alguns modelos (ex: o EM da Gemma subiu de 0,91% para 31,29%), mas não resolveu o núcleo do viés para todos os modelos.
• C-CoT: Mostrou resultados mistos. Quase eliminou o viés para o Qwen2.5-1.5B (reduzindo o viés de 63,46% para 2,88%), mas degradou o desempenho para o Llama-3.2-3B (o viés aumentou para 75%) e para o TituLLM. Isso sugere que o C-CoT é altamente dependente do modelo e exige que o modelo sustente cadeias longas de raciocínio sem colapso de formato.

3. Sucesso da Destilação de Conhecimento

O ajuste fino de pequenos modelos em rastros de raciocínio cultural produziu as melhorias mais significativas:

• Salto de Desempenho: Todos os modelos ajustados superaram 82% de Correspondência Exata e reduziram o viés de significado dominante para menos de 5%.
• Qualidade do Raciocínio: O BERTScore para o raciocínio melhorou drasticamente (ex: Qwen de 0,178 para 0,784), indicando que os modelos aprenderam a justificar os rótulos culturalmente em vez de memorizar mapeamentos superficiais.
• Reversão do TituLLM: O modelo específico para o bengali, anteriormente falho, tornou-se o sistema mais forte (87,91% EM, 4,2% de viés) após a destilação, superando os modelos gerais ajustados e o GPT-4o-mini baseado apenas em prompting.

Significância e Alegações

O artigo alega fornecer uma ferramenta de diagnóstico para o enraizamento cultural genuíno em línguas de baixos recursos. Suas principais contribuições são:

1. Formalização do CEH: Isolando o enraizamento cultural da competência lexical superficial.
2. Lançamento de Benchmark: Fornecendo um conjunto de dados com categorias culturais ao nível de token e explicações de raciocínio.
3. Evidência Empírica: Demonstrando que o pré-treinamento específico para o idioma é insuficiente para tarefas culturais; um modelo específico para o bengali pode falhar completamente sem supervisão cultural específica.
4. Solução Prática: Mostrando que destilar o raciocínio cultural em modelos pequenos e eficientes em parâmetros é um caminho viável para alto desempenho. Esta abordagem permite que modelos pequenos e abertos superem modelos proprietários maiores em tarefas culturalmente complexas, uma vez que lhes é ensinado o processo de raciocínio.

Os autores concluem que, para línguas de baixos recursos e ricas culturalmente, a estratégia mais eficaz é parear um modelo compacto específico para o idioma com um pequeno conjunto de rastros de raciocínio cultural e adaptá-lo via ajuste fino eficiente em parâmetros. Eles reconhecem limitações, incluindo a natureza manual da seleção de palavras (refletindo o conhecimento de um único anotador) e a dificuldade persistente que os modelos enfrentam com rótulos culturais mais raros (escassez de dados de cauda longa).