Resumo Técnico: Inject, Align, Recover (IAR)

Definição do Problema

O artigo aborda o desafio da internalização de conhecimento de documentos em Grandes Modelos de Linguagem (LLMs). No RAG (Geração Aumentada por Recuperação) padrão, os modelos dependem de recuperação externa para responder perguntas baseadas em um corpus específico. No entanto, em muitos cenários de implantação (devido a restrições de latência, privacidade ou testes), a recuperação não está disponível. O objetivo é converter uma coleção de documentos fixa e delimitada em conhecimento paramétrico utilizável dentro do modelo, permitindo que ele responda a perguntas não vistas durante o tempo de inferência, sem acesso aos documentos de origem.

As abordagens existentes enfrentam limitações significativas:

• Ajuste Fino Supervisionado (SFT) em pares QA: Fornece o formato de entrada-saída correto, mas oferece sinais de aprendizado esparsos, pois apenas os fatos selecionados pelo gerador de QA contribuem para a perda (loss).
• Pré-treinamento Contínuo (CPT): Oferece exposição mais densa ao texto do documento, mas falha em ensinar explicitamente o modelo como responder a perguntas sob uma interface de seguimento de instrução.
• O Trade-off: Ambos os métodos frequentemente sofrem de esquecimento catastrófico, onde a adaptação do modelo a um domínio específico degrada suas capacidades gerais de seguimento de instrução e seu desempenho em benchmarks amplos.

Metodologia: O Framework IAR

Os autores propõem o IAR (Inject, Align, Recover), um framework de pós-treinamento de três estágios projetado para desacoplar a aquisição de domínio, o alinhamento de tarefas e a recuperação de capacidade geral.

Estágio 1: Inject (Injetar)

Em vez de um pré-treinamento contínuo bruto, este estágio converte documentos de origem em tarefas de reconstrução estruturadas e condicionadas por instrução. O objetivo é injetar uma supervisão de nível de documento mais densa do que o treinamento apenas de QA, sem utilizar a perda de CPT de fluxo bruto. O estágio emprega três objetivos específicos:

1. Continuação: Prever um sufixo de documento dado um prefixo condicionado por instrução.
2. Reescrita: Reconstruir um documento limpo a partir de um resumo gerado, esboço ou esqueleto de conhecimento.
3. Reconstrução Formatada por Instrução: Prever o documento limpo a partir de uma instrução de leitura curta e genérica.
   Esses objetivos são misturados para criar um conjunto de dados de "receita" que expõe o modelo à estrutura total do documento, mantendo um formato de seguimento de instrução.

Estágio 2: Align (Alinhar)

O modelo, agora contendo o conhecimento de documento injetado, é ajustado finamente em pares de pergunta-resposta derivados de documentos. Crucialmente, este estágio utiliza ajuste fino supervisionado apenas de resposta (answer-only SFT). Isso alinha o conhecimento injetado com a interface de QA, ensinando o modelo a recuperar e utilizar os fatos internalizados para responder a perguntas específicas. Este estágio produz um checkpoint adaptado ao domínio ($\theta_{IA}$).

Estágio 3: Recover (Recuperar)

Para mitigar o esquecimento catastrófico, o framework realiza a fusão de modelos post-hoc. Ele funde o checkpoint adaptado ao domínio ($\theta_{IA}$) com o modelo de instrução base original ($\theta_0$). Os autores avaliam vários operadores de fusão, incluindo SLERP, task arithmetic, TIES e DARE.

• Estratégia de Seleção: O checkpoint final não é necessariamente aquele com a maior precisão de domínio. Em vez disso, os autores selecionam um ponto na fronteira domínio-geral. Eles priorizam a precisão de domínio como o objetivo primário, enquanto utilizam benchmarks gerais (IFEval, MMLU, MSBench) como "guardrails" (proteções) para garantir a capacidade de implantação.

Principais Contribuições

1. Formulação do Problema: O artigo enquadra o QA livre de recuperação sobre um corpus fixo como um problema de ponto de operação domínio-geral, medindo explicitamente o trade-off entre acessibilidade de domínio e capacidade geral.
2. Framework IAR: Introduz uma decomposição de três estágios (Inject, Align, Recover) que separa a exposição estruturada do documento, o alinhamento de resposta e a recuperação de capacidade. Isso permite isolar qual intervenção impulsiona ganhos ou falhas específicas.
3. Avaliação Abrangente: O método é avaliado através de dois corpora (Common Corpus/CC e CCI) e quatro famílias de modelos (Llama, Phi, Qwen, SmolLM). Ele compara com uma ampla gama de baselines, incluindo Vanilla SFT, CPT+SFT, LoRA, SDFT, Replay e FAPM.
4. Evidência Empírica: O estudo fornece evidências tanto fortes quanto de limite, esclarecendo quando a força da inicialização, as receitas de dados ou a seleção do ponto de operação são mais críticos.

Resultados

Os experimentos demonstram que o IAR melhora a fronteira domínio-geral para a internalização de documentos livre de recuperação:

• Desempenho vs. Vanilla SFT: O IAR melhora em relação ao Vanilla SFT em todos os quatro métricas relatadas em 7 de 8 configurações de dataset-modelo.
  • Exceção: Na configuração Phi-4-mini CCI, o IAR melhorou o IFEval e MSBench, mas reduziu ligeiramente a precisão de domínio e o MMLU em relação ao Vanilla SFT.
  • Ganhos Médios: Nas configurações, o IAR alcança um aumento médio de 3,6 pontos percentuais na precisão de QA de domínio e 12,1 pontos percentuais no desempenho geral médio (através de IFEval, MMLU e MSBench) em comparação com o Vanilla SFT.
  • Exemplo Específico: No dataset CC com Qwen3-4B, o IAR melhorou a precisão de domínio de 42,4% (Vanilla SFT) para 50,5%, enquanto simultaneamente melhorou todas as três métricas gerais.
• Comparação com BudgetMatch: Quando comparado a um baseline de "BudgetMatch" (que usa o mesmo orçamento de tokens, mas apenas treinamento de QA), o IAR mostrou desempenho superior em três de quatro configurações, indicando que os ganhos não se devem apenas ao aumento da contagem de tokens, mas também à exposição em estágios e à recuperação.
• Escalabilidade: No dataset CC, o escalonamento dos modelos Qwen3 (8B, 14B, 32B) mostrou que o IAR mantém a precisão de domínio dentro de 1,1 pontos do melhor checkpoint pré-recuperação, enquanto recupera de 14,9 a 24,1 pontos no desempenho geral médio.
• Casos de Limite: O artigo observa que o IAR não domina uniformemente cada métrica em todas as configurações (ex: Phi-4-mini no CCI mostrou reduções leves na precisão de domínio, mas melhorias nas métricas gerais), destacando que as preferências de implantação ditam o ponto de operação ideal.

Significância e Alegações

O artigo afirma que o IAR melhora a fronteira do ponto de operação para a internalização de documentos livre de recuperação. Sua significância reside em demonstrar que:

1. A Decomposição é Eficaz: Separar a exposição do documento, o alinhamento de QA e a recuperação é mais eficaz do que colapsar essas funções em uma única receita de ajuste fino.
2. A Recuperação é Crítica: A fusão post-hoc é uma estratégia viável para recuperar capacidades gerais perdidas durante a adaptação de domínio sem sacrificar o conhecimento de domínio internalizado.
3. Trade-offs Mensuráveis: A exposição do documento, o alinhamento de resposta, as receitas de dados e a recuperação devem ser medidos separadamente. O artigo argumenta contra o colapso desses elementos em um único escore, pois diferentes baselines (como LoRA ou FAPM) podem vencer em métricas gerais específicas, mas falhar na internalização de domínio, enquanto o IAR oferece um ponto de operação equilibrado e forte focado no domínio.

Os autores concluem que o IAR representa um ponto de operação forte e dependente do cenário, em vez de uma receita universalmente dominante, forneando um framework robusto para internalizar o conhecimento de documentos preservando a utilidade geral do modelo.