Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

Título: Instruction-Tuned, mas Não Mais Verificável em Seguimento de Instruções: Um Diagnóstico Trans-Tarefa para Adaptadores LoRA

1. O Problema

Os adaptadores LoRA (Low-Rank Adaptation) são frequentemente selecionados e implantados com base em rótulos nominais (ex: "ajustado para instruções", "ajustado para raciocínio numérico"). Existe uma suposição implícita de que esses rótulos descrevem com precisão quais capacidades melhoram após a adaptação.

O artigo questiona se os objetivos de treinamento nominais preveem de forma confiável os ganhos de capacidade realizados em tarefas transversais (cross-task), especialmente em cenários de seguimento estrito e automaticamente verificável de instruções. Os autores identificam um fenômeno onde um adaptador treinado nominalmente para uma tarefa pode melhorar significativamente o desempenho em uma tarefa "fora do alvo" (off-target), enquanto falha em melhorar (ou até piora) o desempenho na tarefa nominal ou em métricas de verificação estrita. Eles denominam esse padrão de desvio de capacidade (capability drift).

2. Metodologia

O trabalho é estruturado como um diagnóstico empírico trans-tarefa, avaliando o mesmo adaptador LoRA em múltiplas tarefas para comparar o ganho no objetivo nominal com os ganhos realizados em outras áreas.

• Configuração Experimental:

  • Modelos Base: Utilização de modelos como Qwen3-8B, Qwen3-14B e Llama3.1-8B.
  • Adaptadores: Treinamento de adaptadores LoRA com objetivos nominais distintos:
    • Instr: Ajustado para instruções (Instruction-tuned).
    • Reason: Ajustado para raciocínio numérico (Numeric-reasoning-tuned).
  • Tarefas de Avaliação:
    1. Raciocínio Numérico: Medido por Numeric Match (NM), que verifica se a resposta numérica final corresponde à referência.
    2. Seguimento de Instruções Verificável: Utilizando o benchmark IFEval (Instruction Following Evaluation), que foca em restrições estritas e automaticamente verificáveis. As métricas são Instruction-Level Accuracy (ILA) e Prompt-Level Accuracy (PLA).
    3. QA de Domínio: (Secundário).

• Métrica de Diagnóstico (Drift Score):
  Os autores definem um "Drift Score" para quantificar o desajuste:
  $$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$
  Onde:

  • $\text{TargetGain}$ é o ganho na tarefa nominal (ex: IFEval PLA para o adaptador de instruções).
  • $\text{OffTargetGain}$ é o ganho em uma tarefa não nominal (ex: NM para o adaptador de instruções).
  • Um score positivo alto indica que o ganho fora do alvo supera o ganho no alvo, evidenciando o desvio.

• Análise de Robustez:
  Os experimentos foram repetidos com múltiplas sementes, diferentes modelos base e configurações de LoRA (rank, dropout, learning rate) para garantir que o fenômeno não seja um artefato aleatório.

3. Principais Contribuições

1. Enquadramento de Diagnóstico Trans-Tarefa: Propõem uma abordagem prática para implantação: testar se o rótulo nominal de um adaptador se alinha com os ganhos de capacidade reais sob avaliação cruzada, antes da implantação.
2. Evidência de Robustez e Sensibilidade: Demonstram que o desajuste nominal-realizado é recorrente, mas sensível à configuração. O fenômeno ocorre em múltiplas sementes e modelos, embora existam casos onde o desvio é próximo de zero ou ligeiramente negativo.
3. Contraexemplo Controlado: Apresentam um caso forte onde um adaptador "Instruction-tuned" melhora drasticamente o desempenho em um benchmark numérico (off-target), mas não melhora (e até piora) o seguimento estrito de instruções no IFEval.

4. Resultados Chave

• O Caso de "Desvio" (Drift):

  • Um adaptador nominalmente "Instruction-tuned" aumentou o desempenho em Numeric Match (NM) de 0.133 (base) para 0.632.
  • No entanto, o mesmo adaptador não melhorou o seguimento de instruções verificável no IFEval:
    • ILA caiu de 0.313 para 0.271.
    • PLA caiu de 0.250 para 0.143.
  • Isso resulta em um Drift Score alto e positivo, indicando que o modelo aprendeu a resolver problemas numéricos sem necessariamente aprender a seguir restrições estritas de formato ou lógica.

• Robustez:

  • Em 5 sementes diferentes no modelo Qwen3-8B, o Drift Score permaneceu positivo (média de ~0.511), confirmando que não é um artefato de uma única semente.
  • A magnitude do desvio varia conforme o modelo base e a configuração do LoRA, com um caso específico mostrando um score ligeiramente negativo, reforçando que o padrão é recorrente, mas não universal.

• Heterogeneidade de Benchmarks:

  • Ao testar outros benchmarks de seguimento de instruções (FollowBench, IFBench), os resultados variaram. O IFBench (similar ao IFEval) mostrou a mesma falta de melhoria, enquanto o FollowBench (que opera uma definição diferente) mostrou melhoria. Isso destaca que "seguimento de instruções" não é uma métrica única e depende da operacionalização do benchmark.

• Análise de Decaimento Seletivo:

  • A análise detalhada do IFEval revelou que a degradação não é uniforme. Restrições de "linguagem" e "formato detectável" pioraram significativamente, enquanto alguns tipos específicos (ex: frequência de letras) melhoraram.

5. Significado e Conclusões Práticas

• Rótulos Nominais não são Proxies Confiáveis: O rótulo "Instruction-tuned" não garante que o modelo terá melhor desempenho em tarefas de seguimento estrito de instruções verificáveis.
• Necessidade de Avaliação Trans-Tarefa: Antes de implantar um adaptador LoRA, é crucial realizar uma avaliação cruzada (cross-task evaluation) para detectar desvios de capacidade não intencionais.
• Distinção entre "Ajuda" e "Verificabilidade": O ajuste de instruções pode melhorar a "ajudabilidade" geral ou o estilo de resposta, mas não necessariamente a conformidade estrita com restrições lógicas ou de formato (como exigido pelo IFEval).
• Implicação para Engenharia de ML: A comunidade deve evitar tratar rótulos de treinamento como indicadores definitivos de capacidade. A métrica de Drift Score serve como um resumo útil, mas o ponto central é a discrepância visível na matriz de desempenho bruto.

Em suma, o artigo alerta que a adaptação eficiente de parâmetros (LoRA) pode levar a mudanças de capacidade complexas e não lineares, onde a melhoria em uma tarefa pode ocorrer às custas (ou sem relação) com a tarefa nominal para a qual o modelo foi treinado.