Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

Titolo: Instruction-Tuned, ma non più Verificabile nel Seguire le Istruzioni: Una Diagnosi Cross-Task per Adattatori LoRA

1. Il Problema

Nella pratica attuale, gli adattatori (come LoRA) vengono spesso selezionati e distribuiti basandosi su etichette nominali (es. "instruction-tuned", "numeric-reasoning-tuned"). Queste etichette implicano che una specifica capacità sia migliorata dopo l'adattamento. Tuttavia, il paper pone una domanda critica per la fase di deployment: le etichette nominali degli obiettivi di training corrispondono realmente ai guadagni di capacità cross-task osservati?

In particolare, gli autori investigano se un adattatore etichettato come "instruction-tuned" garantisca effettivamente un miglioramento nel seguire le istruzioni verificabili in modo automatico e rigoroso (un aspetto cruciale per l'audit e la sicurezza), o se, paradossalmente, migliori capacità non target (come il ragionamento numerico) mentre fallisce nel migliorare, o addirittura peggiora, la conformità alle istruzioni verificabili.

2. Metodologia

Lo studio adotta un approccio di diagnosi empirica cross-task, evitando di introdurre nuovi metrici formali complessi o di analizzare la composizione di adattatori multipli.

• Setup Sperimentale:

  • Modelli Base: Utilizzo di modelli fissi (es. Qwen3-8B, Qwen3-14B, Llama31-8B).
  • Adattatori LoRA: Vengono creati e valutati adattatori con obiettivi nominali diversi:
    1. Reasoning: Addestrato per il ragionamento numerico.
    2. Instr: Addestrato per l'istruzione (instruction-tuning).
    3. Domain: Addestrato per un dominio specifico (caso secondario).
  • Task di Valutazione:
    • Ragionamento Numerico: Misurato tramite Numeric Match (NM) (corrispondenza esatta della risposta numerica).
    • Seguire Istruzioni Verificabili: Utilizzo di IFEval (Instruction Following Evaluation), che misura la conformità a vincoli rigidi e automaticamente verificabili. Le metriche sono Instruction-Level Accuracy (ILA) e Prompt-Level Accuracy (PLA).

• Metrica di Diagnosi: "Drift Score" (Punteggio di Deriva)
  Gli autori definiscono un "Drift Score" per quantificare la discrepanza tra il guadagno sul task target e quello sui task off-target:
  $$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$
  Dove:

  • $\text{TargetGain}$ è il miglioramento sul task per cui l'adattatore è stato nominato (es. IFEval PLA per "instruction-tuned").
  • $\text{OffTargetGain}$ è il miglioramento su un task diverso (es. NM per il ragionamento numerico).
  • Un punteggio alto e positivo indica che l'adattatore migliora significativamente un task non target, mentre non migliora (o peggiora) il task nominale.

3. Contributi Chiave

Il paper presenta tre contributi principali, tutti allineati all'evidenza sperimentale:

1. Framing Diagnostico: Formulazione di un approccio di valutazione cross-task per verificare se l'etichetta nominale di un adattatore corrisponda ai reali guadagni di capacità durante la valutazione.
2. Evidenza di Robustezza: Dimostrazione che la discrepanza tra etichetta e realtà è ricorrente (osservata su diversi seed, modelli base e configurazioni LoRA) ma sensibile alla configurazione (l'entità della deriva varia e in alcuni casi è vicina allo zero o negativa).
3. Controesempio Controllato: Dimostrazione di un caso specifico in cui un adattatore "instruction-tuned" migliora drasticamente le prestazioni su un benchmark numerico off-target (da 0.133 a 0.632) senza migliorare (anzi, peggiorando) il rispetto delle istruzioni verificabili su IFEval.

4. Risultati Principali

• Il Caso di "Migliore Esempio" (Strongest-Case):
  In una configurazione controllata, un adattatore instruction-tuned ha mostrato:

  • Un enorme miglioramento nel benchmark numerico (NM): 0.133 $\to$ 0.632.
  • Un peggioramento nel seguire istruzioni verificabili (IFEval):
    • ILA: 0.313 $\to$ 0.271
    • PLA: 0.250 $\to$ 0.143
      Questo dimostra che l'etichetta "instruction-tuned" non ha garantito il miglioramento della conformità alle istruzioni, ma ha invece spostato le capacità verso il ragionamento numerico.

• Analisi di Robustezza:

  • La discrepanza è stata osservata su 5 seed diversi e su multipli modelli base (Qwen, Llama).
  • Il Drift Score è rimasto prevalentemente positivo (indicando deriva), ma con varianza. In una specifica configurazione (Qwen25-7B con impostazioni LoRA diverse), il punteggio è stato leggermente negativo (-0.040), confermando che il fenomeno è ricorrente ma non universale e dipende dalla configurazione.

• Analisi Granulare (IFEval Breakdown):
  L'analisi dettagliata delle categorie di IFEval rivela che il mancato miglioramento non è uniforme. Alcune categorie (es. vincoli di linguaggio) peggiorano drasticamente, mentre altre migliorano leggermente. Questo suggerisce uno spostamento selettivo delle capacità piuttosto che un fallimento globale.

• Probing delle Spiegazioni Localizzate:
  Gli autori hanno cercato di identificare se un piccolo insieme di moduli o direzioni dominanti causasse questa deriva. I risultati sono stati inconcludenti: non è emersa una spiegazione localizzata semplice, suggerendo che il fenomeno potrebbe essere distribuito o legato a interazioni complesse nei pesi del modello.

5. Significato e Implicazioni

• Avvertenza sulle Etichette Nominali: Le etichette di training (es. "instruction-tuned") non sono proxy affidabili per le capacità reali in deployment. Un modello etichettato come tale potrebbe non essere più capace di seguire istruzioni verificabili rispetto al modello base.
• Necessità di Valutazione Cross-Task: Prima del deployment, è fondamentale eseguire valutazioni su task diversi da quello di training per rilevare "capability drift" (deriva delle capacità) o miglioramenti non intenzionali su task non target.
• Distinzione Concettuale: Il paper chiarisce che l'instruction tuning non è sinonimo di verifiable instruction following. Benchmarks diversi operazionalizzano il concetto di "seguire le istruzioni" in modi diversi; la conformità verificabile (IFEval) è una nozione più ristretta e rigorosa rispetto alla semplice "utilità" o "aiuto" in conversazioni aperte.
• Impatto sulla Ricerca: Il lavoro invita a non assumere l'accordo tra diversi benchmark come premessa data, data l'eterogeneità nella definizione di "instruction following".

In sintesi, il paper dimostra che l'adattamento parametrico efficiente (LoRA) può portare a derive di capacità inaspettate, dove un modello migliora su task non target a scapito (o senza guadagno) del task nominale, rendendo necessaria una valutazione rigorosa e multi-task prima dell'uso pratico.