CapTrack: Multifaceted Evaluation of Forgetting in LLM Post-Training

O artigo apresenta o CapTrack, um novo framework centrado em capacidades que redefine o esquecimento em modelos de linguagem pós-treinamento como uma deriva comportamental sistemática e demonstra, através de um estudo em larga escala, que esse fenômeno afeta significativamente a robustez e os comportamentos padrão, variando conforme o algoritmo e a família do modelo.

O essencial

Imagine que você tem um chef de cozinha extremamente talentoso (o Modelo de Linguagem ou LLM) que aprendeu a cozinhar de tudo: desde receitas clássicas até como conversar sobre história, matemática e até como escrever código. Ele é o "chef" perfeito para qualquer situação.

Agora, imagine que você contrata esse chef para trabalhar apenas em um restaurante de comida mexicana. Você precisa ensiná-lo a fazer tacos, guacamole e mole. Esse processo de ensino é o que os cientistas chamam de "Pós-Treinamento".

O problema? Quando você ensina o chef a fazer tacos, ele começa a esquecer como fazer as outras coisas.

O Problema: O Esquecimento "Invisível"

Até agora, os cientistas achavam que o "esquecimento" era apenas sobre fatos. Eles perguntavam: "O chef ainda sabe quem foi o primeiro presidente dos EUA?" ou "Ele ainda sabe a fórmula da água?". Se a resposta era sim, achavam que tudo estava bem.

Mas este novo estudo, chamado CapTrack, diz: "Ei, espere! O problema é muito maior!"

O estudo argumenta que o esquecimento não é só sobre perder fatos. É como se, ao aprender a fazer tacos, o chef mudasse sua personalidade e seu comportamento de formas que você nem percebeu imediatamente:

• Ele pode ter se tornado mais rude (perdeu a gentileza).
• Ele pode ter começado a falar muito pouco (perdeu a capacidade de explicar detalhes).
• Ele pode ter esquecido como seguir instruções complexas (ex: "Faça o taco, mas sem cebola e use apenas o prato azul").
• Ele pode ter perdido a resiliência (se você pedir o prato com um sotaque diferente ou uma frase estranha, ele trava).

O CapTrack é como um check-up médico completo para esse chef. Em vez de apenas perguntar "Você sabe a capital da França?", o CapTrack pergunta:

1. O que você SABE fazer? (Competência: Matemática, raciocínio, fatos).
2. O que você VAI fazer por padrão? (Comportamento: Você é prestativo? É rude? Fala muito ou pouco?).
3. Como você EXECUTA as ordens? (Protocolo: Você segue o formato exato que eu pedi? Você usa as ferramentas certas?).

O que eles descobriram?

Os pesquisadores testaram esse "check-up" em vários chefs (modelos de IA) e em duas cozinhas diferentes: Jurídica (advogados) e Médica (médicos).

Aqui estão as descobertas principais, traduzidas para a vida real:

1. O Esquecimento vai muito além da memória:
   Mesmo que o chef saiba a receita do taco perfeitamente (o que é o objetivo), ele pode ter esquecido como ser educado, como escrever uma carta formal ou como lidar com perguntas em outros idiomas. O "esquecimento" mudou a personalidade dele.

2. O método de ensino importa muito:

   • Ensino Direto (Fine-Tuning): É como gritar instruções para o chef: "Faça assim! Não faça aquilo!". Isso funciona bem para a tarefa específica, mas é o que mais destrói a personalidade e as habilidades gerais do chef. Ele vira um robô de tacos e esquece como ser humano.
   • Ajuste de Preferência (DPO): É como dar feedback: "Gostei mais deste taco do que daquele". Esse método é mais gentil. O chef aprende a fazer tacos, mas mantém mais de sua personalidade original e suas outras habilidades.

3. Tamanho não é tudo:
   Você pode pensar que um chef mais experiente (um modelo gigante de 80 bilhões de parâmetros) esquece menos. Não é verdade. Modelos grandes e pequenos esquecem de formas diferentes. Às vezes, o modelo pequeno esquece mais de detalhes técnicos (como citações), mas o grande perde a capacidade de seguir instruções complexas. Não há um "tamanho seguro".

4. O Dilema do "Cérebro Plástico":
   O estudo tentou encontrar uma solução mágica para impedir o esquecimento (como misturar dados antigos com os novos ou usar técnicas de "regularização").

   • A má notícia: Não existe solução mágica. É uma troca inevitável.
   • A analogia: É como treinar para uma maratona. Se você treinar muito para correr rápido (ganhar plasticidade/adaptação), você pode perder força nos braços (estabilidade/esquecimento). Se você tentar manter a força nos braços, corre mais devagar. Você não pode ter o melhor dos dois mundos sem fazer um sacrifício.

Por que isso é importante para você?

Se você usa uma IA para ajudar em um hospital ou num escritório de advocacia, você não quer apenas que ela saiba os fatos médicos ou leis. Você quer que ela:

• Seja educada e não rude.
• Siga as regras de segurança (não invente remédios).
• Consiga entender se você perguntar de um jeito estranho.
• Mantenha o contexto da conversa (não esqueça o que você disse 5 minutos atrás).

O CapTrack nos ensina que, ao adaptar uma IA para uma tarefa específica, estamos arriscando mudar quem ela é e como ela se comporta, não apenas o que ela sabe.

Resumo da Ópera:
Adaptar uma Inteligência Artificial é como dar uma nova profissão para um funcionário antigo. Se você não for cuidadoso, ele pode se tornar um especialista na nova tarefa, mas perder a gentileza, a criatividade e a capacidade de seguir regras que o tornavam um bom funcionário antes. O CapTrack é a ferramenta que nos ajuda a ver essas mudanças sutis antes que seja tarde demais.

Resumo técnico

Resumo Técnico: CapTrack

1. O Problema

O post-training (pós-treinamento) de Grandes Modelos de Linguagem (LLMs) é essencial para alinhar valores, melhorar o desempenho em tarefas específicas e adaptar modelos a novos domínios (como jurídico e médico). No entanto, esse processo é conhecido por induzir esquecimento (forgetting).

A visão tradicional sobre esquecimento em LLMs é centrada na precisão factual (perda de conhecimento paramétrico ou factual). O artigo argumenta que essa perspectiva é insuficiente para os modelos fundacionais modernos, pois ignora degradações críticas em outras dimensões que afetam diretamente a experiência do usuário, como:

• Robustez (resistência a mudanças de domínio ou reformulação de prompts).
• Preferências comportamentais padrão (ex: tom, verbosidade, disposição para responder).
• Conformidade com protocolos de execução (ex: seguir instruções complexas, manter estado em conversas multi-turno).

O trabalho identifica uma lacuna: modelos podem manter alta precisão factual em benchmarks padrão, mas sofrerem um "desvio sistemático" (drift) em capacidades comportamentais e de execução, tornando-os menos úteis ou confiáveis na prática.

2. Metodologia: O Framework CapTrack

Para abordar essa lacuna, os autores introduzem o CapTrack, um framework centrado em capacidades para analisar o esquecimento. O framework consiste em duas componentes principais:

A. Taxonomia de Capacidades (CAN, WILL, HOW)
O CapTrack decompõe o comportamento do LLM em três grupos complementares para isolar diferentes tipos de desvio:

1. CAN (Latent Competence): O que o modelo pode fazer sob prompts ideais. Inclui conhecimento paramétrico, raciocínio, compreensão contextual, fidelidade epistêmica e robustez (invariância a prompts, mudança de domínio, estabilidade multilíngue).
2. WILL (Default Behavioral Preferences): O que o modelo tende a fazer por padrão. Inclui disposição para responder (recusa/aceitação), utilidade e escopo informativo, e estilo/level de elaboração (verbosidade, uso de formatação).
3. HOW (Protocol Compliance & Execution): Como o modelo executa instruções. Inclui seguimento de instruções, fidelidade ao formato de saída, uso de ferramentas, manutenção de estado em conversas multi-turno, operações de janela de contexto e mecânica de citações.

B. Suíte de Avaliação
O framework utiliza uma suíte de avaliação composta por 30 benchmarks estabelecidos e adaptações direcionadas (ex: prompts reescritos para testar robustez, prompts incompletos para testar disposição).

• Métrica Principal: O foco é na desvio relativo em relação ao modelo base "out-of-the-box" (OOB), e não no desempenho absoluto.
• Escala: A avaliação cobre modelos de até 80B parâmetros (famílias Qwen, LLaMA, Gemma) em domínios jurídicos e médicos.

3. Principais Contribuições

1. Redefinição do Esquecimento: Estende o conceito de esquecimento além da perda de conhecimento factual para incluir desvios em nível de capacidade, comportamento e execução.
2. Framework CapTrack: Apresenta uma taxonomia estruturada e uma suíte de avaliação prática para medir esses desvios multifacetados.
3. Estudo Empírico em Grande Escala: Realiza uma análise abrangente através de algoritmos de pós-treinamento (IFT e DPO), domínios e famílias de modelos.
4. Análise de Mitigação: Avalia estratégias de mitigação baseadas em dados, arquitetura e regularização, revelando o trade-off fundamental entre estabilidade e plasticidade.

4. Resultados Chave

• O Esquecimento Vai Além do Conhecimento Factual: O esquecimento é mais pronunciado em robustez (especialmente multilíngue e mudança de domínio) e em preferências comportamentais padrão (WILL), como a redução drástica na verbosidade e na disposição para responder a tarefas não especificadas.
• Impacto dos Algoritmos:
  • Instruction Fine-Tuning (IFT): Induz o desvio mais forte e degradante em todas as categorias de capacidade.
  • Direct Preference Optimization (DPO): É significativamente mais conservador. Quando aplicado após o IFT, consegue recuperar parcialmente capacidades perdidas, especialmente nas preferências comportamentais (WILL).
• Variações entre Famílias de Modelos:
  • Modelos LLaMA e Gemma tendem a sofrer desvios mais fortes em competência latente e preferências comportamentais.
  • Modelos Qwen são geralmente mais estáveis, mas vulneráveis em capacidades específicas como robustez multilíngue e seguimento de instruções.
• Tamanho do Modelo: Não há uma dependência consistente do tamanho do modelo (pequeno vs. grande) para o esquecimento geral. O esquecimento não é uniformemente menor em modelos maiores, exceto em capacidades específicas como a precisão de citações, onde modelos menores degradam mais.
• Estratégias de Mitigação:
  • Dados: A introdução de dados gerais (replay) ou a mudança para dados não específicos de domínio não mitiga consistentemente o esquecimento; os efeitos são mistos e dependentes da capacidade.
  • Arquitetura e Regularização (Model Merging e LoRA): Ambas as técnicas revelam um trade-off fundamental entre Estabilidade e Plasticidade. Aumentar a regularização (para preservar capacidades gerais) reduz o ganho no domínio específico (plasticidade), e vice-versa. Nenhuma estratégia isolada oferece uma solução "sem custo" (no-free-lunch).

5. Significância e Conclusão

O artigo demonstra que avaliar o pós-treinamento de LLMs apenas através de benchmarks de conhecimento geral é enganoso e insuficiente. O esquecimento é um fenômeno multifacetado que afeta a confiabilidade, a segurança e a usabilidade do modelo no mundo real.

O CapTrack fornece uma ferramenta diagnóstica essencial para:

• Detectar falhas comportamentais e de execução que benchmarks tradicionais ignoram.
• Guiar a seleção de modelos e estratégias de adaptação com base nas capacidades críticas para uma aplicação específica.
• Encorajar o desenvolvimento de estratégias de mitigação que sejam conscientes das capacidades específicas, em vez de apenas focar na retenção de conhecimento factual.

Em suma, o trabalho propõe uma mudança de paradigma: a estabilidade de um LLM pós-treinado deve ser medida por sua capacidade de manter um conjunto diversificado de comportamentos e protocolos, e não apenas por sua precisão factual.