Annotation Entropy Predicts Per-Example Learning Dynamics in LoRA Fine-Tuning

Resumo Técnico: Entropia de Anotação e Dinâmicas de Aprendizado no LoRA

1. O Problema

O artigo investiga como os modelos de linguagem aprendem exemplos individuais durante o fine-tuning (ajuste fino) e como essa dinâmica é afetada por métodos de ajuste eficiente de parâmetros (PEFT), especificamente o LoRA (Low-Rank Adaptation).

Tradicionalmente, a dificuldade de um exemplo é medida por métricas internas do modelo (como confiança ou variabilidade durante o treinamento). No entanto, o trabalho propõe que a discordância entre anotadores humanos (ambiguidade linguística genuína) é um preditor externo superior. A questão central é: a entropia da anotação (medida da discordância humana) prevê a ordem de aprendizado do modelo e como esse comportamento muda sob restrições de baixa capacidade (LoRA) em comparação com o ajuste fino completo (Full Fine-Tuning)?

2. Metodologia

• Dados e Medida de Ambiguidade:

  • Utilização dos conjuntos de dados SNLI e MNLI através do subconjunto ChaosNLI, que fornece 100 anotações por exemplo.
  • Cálculo da Entropia de Anotação ($H_i$) baseada na distribuição das 100 anotações para cada exemplo.
  • Classificação dos exemplos em três categorias:
    • Limpos (Clean): Alta concordância ($H < 0.4$ nats).
    • Ambíguos (Ambiguous): Discordância moderada ($0.4 \le H < 0.7$).
    • Contestados (Contested): Alta discordância/ quase uniforme ($H \ge 0.7$).

• Dinâmica de Aprendizado:

  • Em vez de analisar apenas o erro final, os autores rastreiam a trajetória de perda (loss) de cada exemplo ao longo de 5 épocas.
  • Métrica principal: Área Sob a Curva de Perda (AULC). Um AULC menor indica aprendizado mais rápido.
  • Métrica secundária: Variação de perda ($\Delta \ell$) do início ao fim do treinamento para detectar "desaprendizado" (un-learning).

• Configuração Experimental:

  • Modelos: 6 arquiteturas testadas (4 codificadores: RoBERTa, BERT, DistilBERT, DeBERTa; 2 decodificadores: Qwen2.5-1.5B e 3B).
  • Métodos de Ajuste: LoRA (com ranks $r=4, 16$), Ajuste Fino Completo (Full FT) e IA3 (para comparação).
  • Protocolo: Treinamento com dados mistos (ChaosNLI + dados padrão) e rastreamento de perda apenas nos exemplos do ChaosNLI.

3. Principais Contribuições

1. Descoberta de "Desaprendizado" no LoRA: Identificaram que, sob LoRA, exemplos contestados (alta entropia) exibem um aumento de perda ao longo do tempo, um fenômeno de un-learning qualitativamente distinto que é quase ausente no ajuste fino completo.
2. Correlação Preditiva: A entropia de anotação é um preditor positivo e robusto da dinâmica de aprendizado. Exemplos com maior entropia têm maior AULC (aprendem mais devagar ou pior) em todas as 25 condições testadas.
3. Especificidade do LoRA: O fenômeno de perda crescente em exemplos difíceis é específico à restrição de baixa dimensão do LoRA, não sendo observado em métodos como IA3 ou no ajuste completo.
4. Escala e Arquitetura: A correlação é mais forte em modelos decodificadores (decoder-only) do que em codificadores e escala monotonicamente com o rank do LoRA e o tamanho do modelo.

4. Resultados Chave

• Padrão de Perda (Figura 1 vs. Figura 2):

  • LoRA: Exemplos limpos mostram perda decrescente; exemplos contestados mostram perda crescente (o modelo "esquece" ou piora a previsão nesses itens à medida que se especializa em padrões de alta concordância).
  • Full Fine-Tuning: Todos os grupos (limpos e contestados) mostram perda decrescente, indicando que o modelo consegue ajustar-se a ambos, embora a ordem temporal seja preservada (limpos primeiro).

• Estatísticas de Correlação:

  • Correlação de Spearman ($\rho$) positiva entre Entropia e AULC em todas as condições ($0.06 \le \rho \le 0.43$).
  • Modelos decodificadores (Qwen) apresentaram correlações mais fortes ($\rho \approx 0.35-0.42$) do que os codificadores.
  • A correlação aumenta monotonicamente com o rank do LoRA ($r=4 < r=16 < \text{Full FT}$).

• Análise de Mecanismos:

  • Gradientes: Sob LoRA, os gradientes de exemplos limpos e contestados permanecem bem alinhados (similaridade de cosseno $\sim 0.80$), mas o un-learning ocorre. Isso sugere que o gargalo não é a competição de direção do gradiente, mas a incapacidade do subespaço de baixa dimensão de satisfazer simultaneamente as paisagens de perda de ambos os grupos.
  • Calibração: O ajuste completo produz previsões mais "picadas" (maior confiança) que o LoRA, mas não sofre un-learning. Isso descarta a hipótese de que a perda crescente é apenas um artefato de calibração ruim.
  • Robustez: O efeito persiste sob controle de correlação parcial (tamanho da frase, identidade do rótulo), diferentes esquemas de binização e replicação entre sementes e conjuntos de dados (SNLI e MNLI).

• Comparação com IA3: O método IA3 (outro PEFT) não exibiu o fenômeno de un-learning, sugerindo que o efeito é específico ao mecanismo de atualização de baixa dimensão do LoRA.

5. Significado e Implicações

• Limitações do LoRA em Dados Ambíguos: O estudo alerta que, em domínios com alta ambiguidade humana (como NLI, toxicidade ou medicina), o uso de LoRA com ranks baixos pode ser contraproducente, levando ao esquecimento ativo de exemplos difíceis enquanto o modelo se especializa em exemplos fáceis.
• Diagnóstico Externo: A entropia de anotação oferece uma "verdade terrestre" externa para explicar a dificuldade de exemplos, complementando as métricas internas de cartografia de dados (Dataset Cartography).
• Direções Futuras: Sugere-se o uso de ranks mais altos, funções de perda que consideram a incerteza do rótulo (soft labels) ou estratégias de treinamento adaptativas (como reponderar exemplos contestados) para mitigar esse efeito.
• Compreensão Teórica: O trabalho fornece evidências de que a restrição de capacidade em PEFT cria dinâmicas competitivas onde o modelo sacrifica a generalização em casos ambíguos para otimizar a precisão em casos consensuais, mesmo quando os gradientes apontam na mesma direção.

Em resumo, o artigo demonstra que a entropia de anotação humana é um preditor robusto de como os modelos de linguagem aprendem, revelando uma falha específica do LoRA em baixa dimensão: a tendência de "desaprender" exemplos linguisticamente ambíguos durante o treinamento.