💬 NLP

Progressive Training for Explainable Citation-Grounded Dialogue: Reducing Hallucination to Zero in English-Hindi LLMs

Este artigo apresenta o XKD-Dial, um pipeline de treinamento progressivo de quatro estágios que elimina completamente as alucinações em diálogos com citações fundamentadas em conhecimento para modelos de linguagem bilíngues (inglês-hindi), ao mesmo tempo que oferece análises de explicabilidade detalhadas sobre como o comportamento de citação é aprendido.

Autores originais: Vedant Pandya

Publicado 2026-03-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Vedant Pandya

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um robô muito inteligente, mas que às vezes inventa histórias sem saber que está mentindo. Isso é o que chamamos de "alucinação" em Inteligência Artificial. Além disso, esse robô fala apenas inglês, e você quer que ele fale português (ou, no caso deste estudo, hindi) e que, quando ele disser algo, mostre exatamente de onde tirou a informação, como se fosse um aluno mostrando o livro didático.

Este artigo apresenta um projeto chamado XKD-Dial, que é como um "plano de treinamento de quatro etapas" para transformar esses robôs em especialistas honestos e bilíngues.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O Aluno que "Chuta"

Antes desse estudo, os robôs de conversa tinham três problemas principais:

Eles só falavam inglês: Era difícil ensiná-los a falar outras línguas, como o hindi (falado por centenas de milhões de pessoas).
Eles não mostravam as fontes: Se o robô dizia "A Torre Eiffel foi construída em 1889", ele não dizia "segundo o livro X". Você não podia confiar se ele estava inventando ou não.
Eles eram "caixas pretas": Ninguém sabia como o robô decidia o que dizer. Era mágica, não ciência.

2. A Solução: O Treinamento em 4 Etapas (O "Plano de Estudos")

Os pesquisadores criaram um método progressivo, como se estivessem ensinando um aluno do zero até a faculdade, passo a passo, sem apagar o que ele já aprendeu.

Etapa 1: O Curso de Idiomas (Adaptação Multilíngue)
- Analogia: Imagine que o robô já sabe inglês, mas nunca viu hindi. Antes de ensinar a matéria complexa, eles deram a ele um curso intensivo de tradução. O robô aprendeu a "pensar" nas duas línguas ao mesmo tempo.
- Resultado: O robô agora entende que pode falar as duas línguas.
Etapa 2: A Aula de Inglês com "Citações" (SFT em Inglês)
- Analogia: Aqui, o robô aprendeu a regra de ouro: "Não invente nada. Se você disser algo, tem que mostrar o número da página do livro onde leu."
- Eles ensinaram o robô a escrever frases como: "De acordo com o documento [1], o céu é azul."
- O Grande Milagre: Assim que o robô aprendeu essa regra de "mostrar a fonte", ele parou de inventar mentiras (alucinações) em inglês. A taxa de mentiras caiu para zero.
Etapa 3: A Aula de Hindi (SFT Bilíngue)
- Analogia: Agora que o robô já sabia a regra de "mostrar a fonte" em inglês, eles ensinaram a mesma regra, mas falando em hindi.
- O Truque: O robô percebeu que a regra de "mostrar o número [1]" é a mesma, não importa a língua. Ele transferiu o aprendizado do inglês para o hindi. Isso é como aprender a tocar violão em inglês e depois conseguir tocar a mesma música em português sem precisar reaprender os acordes.
Etapa 4: O Treinamento de Elite (Alinhamento GRPO)
- Analogia: É como um treinador de esportes que dá feedbacks extras. O robô gera várias respostas, e o treinador diz: "Essa foi boa, essa foi ruim".
- O Resultado Surpreendente: Para essa tarefa específica (respostas estruturadas com citações), essa etapa extra quase não mudou nada. O robô já estava tão bem treinado nas etapas anteriores que o "treinador extra" não conseguiu melhorar muito mais.

3. As Descobertas Interessantes (O que eles aprenderam)

Pequenos podem ser tão bons quanto Grandes: Um robô pequeno (com 250 milhões de "cérebros" ou parâmetros) aprendeu a falar inglês tão bem quanto um robô gigante (com 780 milhões) depois desse treinamento. Isso é ótimo porque robôs pequenos são mais baratos e rápidos.
O "Colapso" e a Recuperação: Um dos robôs maiores (o Flan-T5-XL) teve um "ataque de pânico" na Etapa 2 e parou de responder (ficou em branco). Mas, na Etapa 3 (quando voltaram a misturar inglês e hindi), ele se recuperou totalmente! Isso mostra que, às vezes, você precisa continuar treinando mesmo quando parece que o robô quebrou.
O Robô "Chutador" (LLaMA-1B): Um robô específico aprendeu a não mentir, mas parou de usar as citações em inglês. Ele ficou tão cauteloso que preferiu não dizer nada específico do que arriscar uma mentira. Isso mostra que "parar de mentir" e "usar citações" são coisas diferentes que podem acontecer separadamente.
Robôs que "Copiam" sem Entender: Os robôs que usam apenas um tipo de arquitetura (Decoder-only) aprenderam a escrever os números [1], [2] corretamente, mas, ao testar, descobriu-se que eles não estavam realmente olhando para o texto de onde tiraram a informação. Eles estavam apenas "decorando" o formato da frase, sem entender o conteúdo. Os robôs de arquitetura dupla (Encoder-Decoder) realmente liam a fonte.

4. Conclusão Simples

O estudo mostrou que, para criar robôs que não mentem e que falam várias línguas, o segredo não é apenas jogá-los em um treinamento complexo de uma vez só. O segredo é ensinar passo a passo:

Ensine a língua.
Ensine a regra de "mostrar a fonte" (isso mata as mentiras).
Aplique a regra na nova língua.

Eles provaram que, com esse método, é possível ter robôs honestos, que citam suas fontes e falam hindi, sem precisar de supercomputadores caros. É como ensinar uma criança a fazer a lição de casa: primeiro ela aprende a ler, depois aprende a citar o livro, e só então faz a prova. Se ela fizer tudo isso, a chance de ela inventar a resposta é zero.

Resumo Técnico: XKD-Dial

1. O Problema

Os sistemas de diálogo baseados em conhecimento (Knowledge-Grounded Dialogue) visam gerar respostas informativas e factualmente corretas utilizando fontes externas. No entanto, a literatura atual enfrenta três limitações fundamentais:

Gargalo Monolíngue: A maioria das pesquisas foca exclusivamente no inglês, ignorando idiomas como o hindi (falado por mais de 600 milhões de pessoas), onde não há benchmarks padronizados nem metodologias estabelecidas para diálogos bilíngues.
Ausência de Citações Verificáveis: Embora sistemas de Geração Aumentada por Recuperação (RAG) recuperem informações, as respostas geradas raramente indicam explicitamente qual passagem suporta qual afirmação, dificultando a verificação de fatos e a transparência.
Opacidade das Decisões: Mesmo quando a resposta é correta, não há clareza sobre como o modelo selecionou o conhecimento. A precisão da citação pode ser enganosa se o modelo apenas formatar o marcador sem realmente basear o conteúdo na fonte.

2. Metodologia: XKD-Dial

Os autores propõem o XKD-Dial, um pipeline de treinamento progressivo de quatro estágios projetado para construir capacidades de diálogo bilíngue (Inglês-Hindi) e baseado em citações de forma incremental, evitando o esquecimento catastrófico.

Estágio 1: Adaptação Multilíngue
- Treinamento de tradução (Inglês $\leftrightarrow$ Hindi) para alinhar representações bilíngues, especialmente crucial para modelos com pouca exposição prévia ao hindi.
Estágio 2: SFT de Diálogo em Inglês (Com Citações)
- Fine-tuning supervisionado (SFT) em dados de diálogo em inglês com marcadores de citação explícitos (ex: "De acordo com [1]...").
- Objetivo: Ensinar o modelo a associar afirmações a passagens específicas e aprender a mecânica de formatação de citações.
Estágio 3: SFT de Diálogo Bilíngue
- Extensão para o hindi, utilizando uma mistura ponderada de dados (60% hindi, 40% inglês).
- Objetivo: Transferir a habilidade estrutural de citação aprendida no inglês para o hindi, enquanto se melhora a fluência no hindi e se previne o esquecimento do inglês.
Estágio 4: Alinhamento via GRPO
- Uso de Otimização de Política Relativa em Grupo (GRPO) com uma função de recompensa composta.
- A recompensa penaliza alucinações e citações incorretas, enquanto incentiva a consistência factual e a fluência.

Análise de Explicabilidade:
O estudo aplica três métodos post-hoc para entender como o comportamento de citação é aprendido:

Visualização de atenção cruzada (Cross-Attention).
Atribuição de Gradientes Integrados (Integrated Gradients).
Grounding causal baseado em oclusão (verificando se a remoção da fonte elimina a citação).

3. Configuração Experimental

Modelos: Seis modelos avaliados em todas as etapas, cobrindo duas famílias de arquitetura e escalas de 250M a 7B parâmetros:
- Encoder-Decoder: Flan-T5 (Base, Large, XL).
- Decoder-Only: LLaMA-3.2-1B, Gemma-2-2B, Mistral-7B.
Dados: Combinação de três benchmarks (DSTC9, FaithDial, Wizard of Wikipedia) traduzidos para hindi.
Métricas: BLEU, ROUGE, BERTScore, FactScore, F1 de Citação e Taxa de Alucinação.

4. Resultados Chave

Redução de Alucinação para Zero:
- Para modelos encoder-decoder (Flan-T5), o treinamento com citações explícitas (a partir do Estágio 2) reduziu a taxa de alucinação para 0,0% sob avaliação automática baseada em NLI.
- O modelo Mistral-7B reduziu a alucinação de 7,8% para 1,4%, mas não atingiu zero.
Eficácia do SFT vs. GRPO:
- O SFT (Estágio 2 e 3) foi o principal motor de melhoria.
- O GRPO (Estágio 4) trouxe melhorias marginais ou nulas sobre um SFT bem projetado para esta tarefa estruturada. Em muitos casos, o GRPO não recuperou comportamentos perdidos no SFT.
Desempenho de Modelos Pequenos vs. Grandes:
- Após o Estágio 2, o modelo Flan-T5-Base (250M) alcançou desempenho idêntico ao Flan-T5-Large (780M) em inglês (BLEU, BERTScore, F1 de Citação). Isso sugere que, para tarefas estruturadas bem definidas, modelos pequenos são suficientes e mais baratos.
Falhas Específicas de Arquitetura:
- Colapso de Geração (Flan-T5-XL): O modelo de 3B colapsou no Estágio 2 (gerando strings vazias) devido a uma taxa de aprendizado agressiva, mas recuperou-se totalmente no Estágio 3 com dados bilíngues.
- Falha Seletiva por Idioma (LLaMA-3.2-1B): Este modelo aprendeu a citar corretamente em hindi (F1 de 0,783), mas falhou completamente em inglês (F1 de 0,000), gerando texto sem citações. Curiosamente, ele eliminou a alucinação em inglês não por citar, mas por adotar uma estratégia conservadora de não fazer afirmações factuais específicas.
- Dissociação Formato-Grounding (Decoder-Only): Modelos decoder-only (Gemma, Mistral) aprenderam a sintaxe da citação (colocar "[1]") mas falharam no grounding causal (a citação não estava realmente baseada na fonte removida), ao contrário dos modelos encoder-decoder que mantiveram a conexão causal via atenção cruzada.
Problema da Métrica BLEU no Hindi:
- O BLEU permaneceu próximo de zero para o hindi devido à riqueza morfológica e ordem livre das palavras, subestimando a qualidade. O BERTScore e o ROUGE-1 mostraram-se métricas superiores para avaliar a geração em hindi neste contexto.

5. Contribuições e Significância

Primeiro Pipeline Sistemático Bilíngue: O XKD-Dial é a primeira abordagem sistemática para diálogo baseado em conhecimento com citações em inglês-hindi, preenchendo uma lacuna crítica para idiomas de baixa recursos.
Estratégia Anti-Alucinação: Demonstra que o treinamento supervisionado com formato de citação explícito é uma estratégia poderosa para reduzir alucinações, potencialmente eliminando a necessidade de RL complexo em estágios iniciais para tarefas estruturadas.
Análise de Explicabilidade: Fornece insights sobre como os modelos aprendem a citar, revelando que modelos encoder-decoder usam mecanismos de atenção cruzada para grounding causal, enquanto modelos decoder-only podem aprender apenas a sintaxe superficial.
Eficiência de Custos: A descoberta de que modelos pequenos (250M) podem igualar modelos maiores (780M) após SFT tem implicações diretas para a implantação econômica de sistemas de IA em produção.
Resiliência de Treinamento: Mostra que checkpoints que colapsam podem ser recuperados através de treinamento contínuo com dados mistos, destacando a importância da validação durante a geração (não apenas perda de treinamento).

Conclusão:
O trabalho estabelece que a combinação de adaptação multilíngue progressiva e SFT com citações é altamente eficaz para criar diálogos factualmente precisos e explicáveis em múltiplos idiomas. Embora o RL (GRPO) tenha benefícios marginais neste cenário específico, o foco deve permanecer em SFT bem projetado e na validação da causalidade das citações, especialmente para modelos decoder-only.