Synthesizing Instruction-Tuning Datasets with Contrastive Decoding

Probleemstelling

Het gebruik van antwoorden gegenereerd door hoogpresterende Large Language Models (LLMs) voor instructie-tuning (supervised fine-tuning) is een veelgebruikte aanpak. Echter, de bestaande literatuur negeert een fundamentele eigenschap van deze gegenereerde antwoorden: ze vermengen wereldkennis (verworven tijdens het pre-training stadium) met instructie-volgende capaciteiten (verworven tijdens post-training).

De auteurs hypothetiseren dat deze vermenging problematisch is. Bestaand onderzoek suggereert dat wereldkennis van een "teacher"-model niet effectief wordt overgedragen aan een "student"-model via supervised fine-tuning; in plaats daarvan fungeert het als ruis die het leerproces verstoort. Het doel is dus om de instructie-volgende vaardigheden te ontkoppelen van de pre-trained kennis om effectievere trainingsdata te creëren.

Methodologie: CoDIT

De auteurs stellen CoDIT (Contrastive Decoding for Instruction-Tuning Dataset) voor. Dit is een methode die contrastive decoding toepast om antwoorden te genereren die puur de instructie-volgende capaciteiten van een model weerspiegelen, terwijl de gedeelde pre-trained kennis wordt onderdrukt.

Kernmechanisme:
CoDIT gebruikt twee versies van hetzelfde model:

1. Expert: Het post-trained model (bijv. na instructie-tuning of RL).
2. Amateur: Het oorspronkelijke pre-trained checkpoint.

Tijdens het genereren van een antwoord op een instructie $x$, wordt elk token $y_i$ geselecteerd om het verschil te maximaliseren tussen de log-probabiliteit van het expert-model en het amateur-model. De selectieformule is:
$$s(v; x, y_{<i}) = \log P(v | x, y_{<i}; \theta_{post}) - \log P(v | x, y_{<i}; \theta_{pre})$$
waarbij $v$ een kandidaat-token is.

Om te voorkomen dat tokens met zeer lage waarschijnlijkheid onder het pre-trained model (die vaak onzinnig zijn) onterecht worden geselecteerd, wordt een plausibiliteitsbeperking toegepast. Alleen tokens die een voldoende hoge waarschijnlijkheid hebben onder het post-trained model (boven een drempel $\alpha$) worden in aanmerking genomen.

Theoretische Interpretatie (Chat Vector Distillatie):
De auteurs tonen theoretisch aan dat CoDIT geïnterpreteerd kan worden als het distilleren van de "chat vector" ($\Delta\theta = \theta_{post} - \theta_{pre}$) van de parameter-ruimte naar de tekst-ruimte.

• De chat vector vertegenwoordigt de verandering in parameters door post-training.
• Door tokens te kiezen die de gradient van de log-likelihood het sterkst aligneren met deze chat vector, wordt de instructie-volgende capaciteit overgedragen zonder dat de student-model dezelfde architectuur of parameters nodig heeft als de teacher. Dit maakt cross-architectuur transfer mogelijk.

Belangrijkste Bijdragen

1. CoDIT Methode: Een nieuwe aanpak voor het synthetiseren van instructie-tuning datasets die pre-trained kennis onderdrukt en instructie-volgend gedrag versterkt.
2. State-of-the-Art Datasets: Publicatie van datasets die via CoDIT zijn gegenereerd, die prestaties tonen die superieur zijn aan bestaande open-source instructie-datasets.
3. Theoretisch Bewijs: Het aantonen dat CoDIT functioneert als een tekst-ruimte distillatie van de chat vector, wat de overdracht van instructie-volgende vaardigheden tussen modellen van verschillende schalen en architecturen mogelijk maakt zonder parameter-ruimte operaties.

Resultaten

De auteurs hebben experimenten uitgevoerd met meerdere "teacher" modellen (Qwen3-8B, Qwen3-30B-A3B, Gemma-3-27B) en "student" modellen (Llama-3.1-8B, Qwen3-8B-Base, Gemma-3-4B).

• Vergelijking met Baselines: Modellen getraind op CoDIT-data presteerden consistent beter dan modellen getraind op direct gegenereerde antwoorden ("Vanilla") of antwoorden geselecteerd via "Best-of-N" (waarbij de beste van 5 generaties wordt gekozen). Dit geldt voor alle 9 teacher-student paren, ongeacht de modelgrootte of architectuur.
• Benchmarks: De prestaties werden gemeten op WildBench, AlpacaEval 2.0 en MT-Bench. CoDIT behaalde de hoogste scores in 8 van de 9 configuraties op WildBench en de hoogste win-rates op AlpacaEval 2.0.
• Vergelijking met Bestaande Datasets: Datasets gegenereerd met CoDIT overtroffen bestaande publieke datasets zoals WildChat, Magpie-Pro en WebR op alle benchmarks.
• Kwaliteit vs. Capaciteit: Analyse toonde aan dat de verbetering niet komt door een algemene stijging in tekstkwaliteit (de tekstkwaliteit van CoDIT en Vanilla was vergelijkbaar), maar door de succesvolle isolatie en overdracht van instructie-volgend gedrag.
• Chat Vector Distillatie: Er werd een hogere cosinus-similariteit gevonden tussen de parameter-updates van de student en de chat vector van de teacher bij gebruik van CoDIT, wat de theoretische hypothese bevestigt.
• Robuustheid: De methode werkt ook effectief wanneer de teacher-modellen Reinforcement Learning (RL) hebben ondergaan, wat suggereert dat RL de effectiviteit van CoDIT zelfs kan versterken.

Betekenis en Impact

Deze studie biedt een fundamenteel nieuw perspectief op het genereren van synthetische trainingsdata. In plaats van simpelweg antwoorden van sterke modellen te kopiëren, biedt CoDIT een mechanisme om specifieke vaardigheden (instructie-volging) te extraheren en te distilleren.

De belangrijkste implicaties zijn:

• Efficiëntie: Het elimineert de noodzaak voor dure menselijke annotatie voor instructie-datasets.
• Generalisatie: Het maakt het mogelijk om instructie-volgende vaardigheden over te dragen tussen modellen met volledig verschillende architecturen (bijv. van Qwen naar Llama), iets wat met traditionele parameter-distillatie niet mogelijk is.
• Kwaliteit: Het levert trainingsdata op die "schoner" is voor het doel van instructie-tuning, omdat het ruis (pre-trained kennis) verwijdert die het leerproces van de student kan verstoren.

Samenvattend stelt CoDIT een nieuwe standaard neer voor het synthetiseren van hoogwaardige instructie-datasets door gebruik te maken van contrastive decoding om de essentie van instructie-volging te isoleren.