🤖 machine learning

Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

Dit onderzoek toont aan dat nominale labels zoals 'instruction-tuned' niet betrouwbaar voorspellen of LoRA-adapters daadwerkelijk de prestaties verbeteren op verifieerbare instructie-opdrachten, wat leidt tot het concept van 'capability drift' en de noodzaak van routinematige cross-task evaluatie voorafgaand aan implementatie.

Oorspronkelijke auteurs: Junyi Zou

Gepubliceerd 2026-03-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Junyi Zou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎓 De "Naamplaatjes"-Valstrik bij AI

Stel je voor dat je een groep jonge stagiairs (de AI-modellen) hebt die net een speciale training hebben gevolgd. Op hun naamplaatje staat duidelijk wat ze hebben geleerd:

Stagiair A heeft een bordje "Rekenen" om.
Stagiair B heeft een bordje "Volg instructies" om.

De onderzoekers van dit paper stellen een belangrijke vraag: Betrouwt je die naamplaatjes? Als iemand zegt "Ik ben getraind om instructies te volgen", betekent dat dan ook echt dat hij perfect doet wat je zegt, of kan het zijn dat hij juist heel goed is in iets anders?

🧪 Het Experiment: De "Test"

De onderzoekers hebben een simpele test opgezet. Ze namen een AI die een bordje "Volg instructies" had, en gaven hem twee soorten taken:

De officiële taak: Strikte instructies volgen (bijvoorbeeld: "Schrijf een tekst met precies 3 zinnen en geen komma's"). Dit is makkelijk te controleren met een computer.
De verrassingstaak: Rekenopgaven oplossen (bijvoorbeeld: "Wat is 15 x 24?").

Het verrassende resultaat:
De stagiair met het bordje "Volg instructies" werd plotseling een rekenwiskundig genie! Hij werd veel beter in het oplossen van rekenproblemen dan de basisversie. Maar... hij werd niet beter in het volgen van de strikte instructies. Sterker nog, hij werd er soms zelfs slechter in.

Het was alsof je een kok inhuurt die zegt dat hij "perfecte salades" maakt, maar in de praktijk blijkt hij een meester-pizza bakker te zijn, terwijl zijn salades juist minder lekker worden.

📉 Het Concept: "Capaciteit-Drift"

De onderzoekers noemen dit fenomeen Capaciteit-Drift (of capability drift).

De drift: De AI "drijft" weg van wat er op het etiket staat.
De les: Je kunt niet blind vertrouwen op wat er op het label staat. Een model dat "instructie-getuned" heet, kan zich gedragen alsof het een rekenmachine is, terwijl het juist slechter wordt in het luisteren naar jouw specifieke regels.

🌪️ Waarom gebeurt dit? (De Metafoor)

Stel je voor dat het trainen van een AI als het oefenen voor een sportwedstrijd is.

Als je een atleet traint om een marathon te lopen (instructies volgen), verwacht je dat hij beter wordt in hardlopen.
Maar soms, door de specifieke manier waarop hij traint, wordt hij per ongeluk ook een sterke sprinter (rekenen), terwijl hij juist zijn uithoudingsvermogen (instructies volgen) verliest.

De onderzoekers ontdekten dat dit niet altijd gebeurt (het is niet 100% zeker), maar het gebeurt vaak genoeg om een waarschuwing uit te spreken. Het hangt af van de "instellingen" van de training, net zoals een auto soms beter rijdt op modder dan op asfalt, afhankelijk van hoe je de banden hebt ingesteld.

💡 Wat betekent dit voor de praktijk?

De belangrijkste boodschap voor iedereen die AI gebruikt (bedrijven, ontwikkelaars, gebruikers) is:

Vertrouw niet alleen op het etiket. Als een AI-model zegt dat het "slim" of "instructie-volgend" is, is dat geen garantie.
Test het echt. Voordat je een AI-model in het echt gaat gebruiken, moet je het testen op verschillende taken. Kijk niet alleen of hij doet wat je vraagt, maar test ook of hij niet per ongeluk iets anders doet dat je niet wilt.
Wees kritisch. Soms lijkt een model beter te worden, maar is het eigenlijk alleen maar gespecialiseerd in iets anders dan je dacht.

🏁 Conclusie in één zin

Een AI met een label "Instructies volgen" is niet per se een gehoorzame robot; hij kan juist een verrassend goede rekenaar zijn die je instructies juist negeert. Test daarom altijd zelf voordat je hem aan het werk zet!

1. Het Probleem

In het veld van parameter-efficiënte aanpassing (zoals LoRA-adapters) worden modellen vaak geselecteerd en ingezet op basis van nominale labels (bijv. "instructie-geoptimaliseerd", "numeriek redenerend"). Er wordt impliciet aangenomen dat deze labels betrouwbaar aangeven welke capaciteiten na de aanpassing zijn verbeterd.

De auteurs stellen echter de vraag of deze nominale trainingsdoelen inderdaad overeenkomen met de gerealiseerde prestaties over verschillende taken heen. Specifiek onderzoeken ze of een adapter die is getraind voor "instructie-opvolging" ook daadwerkelijk betere prestaties levert op streng, automatisch verifieerbare instructie-opvolging (zoals gemeten door IFEval), of dat het trainingsdoel juist leidt tot onverwachte verbeteringen op andere taken (zoals numeriek redeneren) ten koste van de beoogde taak.

2. Methodologie

Het paper presenteert een empirische cross-task diagnose (taak-overstijgende diagnose) zonder nieuwe modellen te hertrainen, maar door bestaande LoRA-adapters te evalueren.

Base Models & Adapters: Er wordt gebruikgemaakt van een vaste base-model en twee primaire LoRA-adapters:
1. reason: Getraind voor numeriek redeneren.
2. instr: Getraind voor instructie-opvolging (instruction-tuned).
Evaluerende Taken & Metrics:
- Numeriek Redeneren: Gemeten via Numeric Match (NM) (of de numerieke uitkomst overeenkomt met het referentieantwoord).
- Verifieerbare Instructie-opvolging: Gemeten via IFEval (Instruction Following Evaluation). Dit gebruikt twee metrics:
  - ILA (Instruction-Level Accuracy): Per-instructie constraint-satisfactie.
  - PLA (Prompt-Level Accuracy): Of de volledige prompt aan alle constraints voldoet.
Drift Score: De auteurs definiëren een "Drift Score" om de discrepantie te kwantificeren:
$DriftScore(a \to b) = OffTargetGain(a, b) - TargetGain(a)$
Waarbij een hoge positive score aangeeft dat de verbetering op een niet-doel taak (off-target) groter is dan de verbetering op de nominale doel taak.
Robuustheidstests: De experimenten worden herhaald over meerdere seeds, verschillende base-modellen (Qwen, Llama) en verschillende LoRA-configuraties (ranks, learning rates).

3. Belangrijkste Bijdragen

Diagnostisch Kader: De auteurs formuleren een deployment-relevante cross-task diagnose om te testen of nominale labels overeenkomen met gerealiseerde capaciteitswinsten.
Robuustheidsevidentie: Ze leveren bewijs dat de mismatch tussen nominale labels en werkelijke prestaties recurrent (voorkomend) is, maar configuratiesensitief (afhankelijk van instellingen). Het fenomeen is niet universeel, maar komt vaak voor, inclusief gevallen met een drift-score dicht bij nul of zelfs negatief.
Gestuurde Tegenvoorbeelden: Ze tonen een specifiek geval aan waarin een "instructie-geoptimaliseerde" adapter de prestaties op een numeriek benchmark (off-target) drastisch verbetert, terwijl de prestaties op strikte, verifieerbare instructie-opvolging (IFEval) juist verslechteren of niet verbeteren.

4. Resultaten

De "Strongest-Case" (Tabel 1): Een instructie-adapter verbeterde de prestaties op een numeriek benchmark (NM) aanzienlijk van 0.133 naar 0.632. Tegelijkertijd verslechterden de scores op IFEval:
- ILA daalde van 0.313 naar 0.271.
- PLA daalde van 0.250 naar 0.143.
  Dit illustreert een duidelijke "capability drift": de adapter werd beter in iets anders dan waarvoor hij nominale was getraind.
Robuustheid (Tabel 2 & Figuur 2):
- Over meerdere seeds en modellen (Qwen3-8B, Qwen3-14B, Llama3) blijft de drift-score positief voor de instructie-adapter op de numerieke taak.
- Er is echter configuratiesensitiviteit: bij bepaalde modellen/instellingen (bijv. Qwen25-7B met specifieke LoRA-settings) is de drift-score licht negatief (-0.040), wat aangeeft dat het patroon niet absoluut is, maar wel frequent voorkomt.
Benchmark Heterogeniteit: Als andere benchmarks voor instructie-opvolging worden gebruikt (zoals FollowBench), zijn de resultaten gemengd. Dit bevestigt dat "instructie-opvolging" geen eenduidig concept is en dat IFEval (strikt en verifieerbaar) een ander beeld schetst dan bredere, open-eind benchmarks.
Selectieve Verschuivingen: Een analyse van IFEval-categorieën toont aan dat de verslechtering niet uniform is. Sommige constraints (zoals "keywords:existence") dalen sterk, terwijl andere (zoals "punctuation:no_comma") juist verbeteren.

5. Betekenis en Conclusie

Nominale Labels zijn Onbetrouwbaar: De belangrijkste conclusie is dat nominale labels (zoals "instruction-tuned") niet kunnen worden gebruikt als betrouwbare proxies voor de werkelijke capaciteiten van een model na deploy. Een model dat als "instructie-geoptimaliseerd" wordt verkocht, kan juist beter zijn in numerieke taken en slechter in het volgen van strikte constraints.
Capability Drift: De auteurs introduceren de term "capability drift" om deze discrepantie tussen het trainingsdoel en de gerealiseerde prestaties te beschrijven.
Praktische Aanbeveling: Voorafgaand aan de implementatie (deployment) moet routine cross-task evaluatie worden uitgevoerd. Men mag niet blind vertrouwen op de trainingsnaam of het nominale doel van een adapter.
Beperkingen: De bevindingen zijn empirisch en specifiek voor de geteste modellen en taken. De auteurs benadrukken dat hun sterkste claim beperkt blijft tot streng, automatisch verifieerbare instructie-opvolging (IFEval) en niet noodzakelijk geldt voor bredere, subjectieve vormen van "helpfulness".

Kortom, het paper waarschuwt de gemeenschap om voorzichtig te zijn met het aannemen dat een adapter "wat het zegt dat het is", en pleit voor een meer rigoureuze, taak-overstijgende validatie voordat modellen in productie gaan.