Technische Samenvatting: FineInstructions: Schalen van Synthetische Instructies naar Pre-training Schaal

Probleemstelling

Grote taalmodellen (LLM's) worden doorgaans voorgetraind via zelfgesuperviseerde next-token voorspelling op enorme, ongestructureerde tekstcorpora. Hoewel deze fase de meerderheid van de kennis van een model overbrengt, wordt deze vaak gevolgd door een aparte "instructie-afstemmingsfase" met een relatief kleine hoeveelheid gesuperviseerde instructie-antwoorddata om het model af te stemmen op de intentie van de gebruiker. Bestaande datasets voor instructie-afstemming lijden aan beperkingen: ze zijn vaak klein (duizenden voorbeelden), smal (gericht op academische NLP-taken), of vertrouwen op distillatie van grensverleggende modellen, wat mogelijk slechts oppervlakkig de capaciteiten nabootst. Bijgevolg blijft de voor-trainingsfase verantwoordelijk voor het coderen van kennis, terwijl de instructie-afstemmingsfase grotendeels beperkt is tot het leren van responstijlen. Bovendien verspilt standaard voor-training vaak rekenkracht aan lage kwaliteit ruis (headers, footers) en stemt het niet goed af op de downstream distributie van gebruikersprompts.

Methodologie: De FineInstructions Pipeline

De auteurs stellen FineInstructions voor, een procedure om internet-schaal voor-trainingsdocumenten te transformeren naar miljarden synthetische instructie-antwoordparen, wat effectief supervised instructie-afstemming op voor-trainingsschaal mogelijk maakt. De pipeline bestaat uit acht belangrijke stadia:

1. Generatie van Instructie-templates:

   • Bron: De auteurs verzamelden ~21,5M echte door gebruikers geschreven queries van diverse bronnen (bijv. WildChat, LMSys, StackExchange, Reddit QA, GooAQ).
   • Genericering: Met behulp van een "Query Genericizer Model" (een gedestilleerd Llama-3.2 1B model) worden deze queries omgezet in ~18M generieke instructie-templates. Specifieke entiteiten of scenario's in de queries worden vervangen door <fi> tags die een natuurlijke taalbeschrijving bevatten van de vereiste inhoud (bijv. <fi>Entiteit A</fi>).
   • Filtering: Schadelijke queries worden verwijderd en data wordt gedetoxificeerd van veelvoorkomende benchmarks.

2. Document Matching:

   • Embedding: Een semantisch gelijkenismodel (BGE-M3) wordt gebruikt om "compatibele documentbeschrijvingen" voor de templates en de voor-trainingsdocumenten zelf te embedden.
   • Gaussian Pooling: Om ervoor te zorgen dat templates specifieke secties van lange documenten matchen, introduceren de auteurs een aangepaste "Gaussian pooling" laag. In plaats van één globale embedding, genereert het model $K=5$ lokale embeddings die verschillende fragmenten van het document vertegenwoordigen, plus een globale embedding.
   • Retrieval: Voor elk document haalt het systeem compatibele instructie-templates op basis van cosinus-gelijkenis (drempelwaarde 0.865). Een gewogen random sampling-strategie zorgt voor diversiteit in de complexiteit van de templates.

3. Instantiatie en Antwoordgeneratie:

   • Instantiatiemodel: Een gedestilleerd Llama-3.2 3B model wordt getraind om de opgehaalde templates te instrueren met de documentinhoud en antwoorden te genereren.
   • Gronding: Om hallucinaties en modelinstorting te voorkomen, zijn antwoorden primair gegrond in het brondocument. Het model krijgt de instructie om direct fragmenten te kopiëren. Een speciaal tagging-mechanisme (<excerpt>...</excerpt>) wordt gebruikt om de kosten van token-generatie te verlagen, door het model toe te staan tags met ellips-notatie te genereren voor lange fragmenten, die later programmatisch worden uitgebreid.
   • Restricties: De ratio van geëxtraheerde tekst in gegenereerde antwoorden wordt afgedwongen op $\ge 0.80$.

4. Beoordeling en Filtering:

   • Een "Flow Judge" model (een gedestilleerd model met 3,8B parameters) evalueert de gegenereerde instructie-antwoordparen op een 5-punts Likert-schaal.
   • Paren met een score $\ge 4$ (die de query adresseren zonder overbodige inhoud) worden behouden. Deze fase filtert ook slecht gevormde instantiaties en antwoorden die niet gegrond zijn in de bron.

5. Training:

   • De resulterende dataset, FineInstructions, bevat meer dan 1 miljard synthetische instructie-antwoordparen.
   • Modellen worden vanaf nul voorgetraind uitsluitend op dit instructie-afstemmingsdoel (Instructie: {{instruction}} \n\n Antwoord: {{answer}}), in plaats van de standaard next-token voorspelling.

Belangrijkste Bijdragen

1. Grootschalige Template Creatie: De creatie van ~18M instructie-templates afgeleid van echte gebruikersqueries, wat de generatie van zeer diverse en in-distributie synthetische data mogelijk maakt.
2. De FineInstructions Procedure: Een schaalbare pipeline voor het converteren van ongestructureerde voor-trainingsdocumenten naar supervised instructie-antwoordparen, gebruikmakend van efficiënte gedestilleerde modellen voor genericering, matching en instantiatie.
3. Empirische Validatie: Demonstratie dat voor-training uitsluitend op FineInstructions de standaard voor-training en andere synthetische transformatie-baselines (Instruction Pre-Training, Nemotron-CC, WRAP) overtreft op benchmarks die correleren met menselijke beoordeling van de kwaliteit van de respons.
4. Open Bronnen: Publicatie van code, getrainde modellen en de FineInstructions dataset (1B+ paren).

Resultaten

De auteurs voerden gecontroleerde token-voor-token trainingsexperimenten uit met 1.8B parameter modellen op twee corpus-schalen (IPT ~23B tokens en Nemotron-CC ~300B tokens).

• Prestatiewinst: FineInstructions presteerde significant beter dan de baselines op MixEval (een benchmark die correleert met menselijke beoordeling), MT-Bench-101 (multi-turn subjectieve queries) en AlpacaEval (head-to-head win rates).
  • Op de IPT-corpus vertoonde FineInstructions een relatieve verbetering van ~69% op MixEval vergeleken met standaard voor-training.
  • Op de Nemotron-CC-corpus vertoonde het een verbetering van ~39% op MixEval.
  • In AlpacaEval werden outputs van FineInstructions consequent verkozen boven alle andere pipelines.
• Generalisatie: Verbeteringen waren consistent over zowel kennisgerichte taken (MixEval) als open-ended real-world taken (MT-Bench-101, AlpacaEval).
• Efficiëntie: Experimenten op verschillende model-schalen (300M, 1.8B, 7B) gaven aan dat FineInstructions kleinere modellen in staat stelt om prestatieniveaus te bereiken die vergelijkbaar zijn met of zelfs hoger zijn dan grotere modellen getraind op standaard baselines, gegeven een gelijkwaardig token- en compute-budget.

Betekenis en Claims

Het artikel claimt dat het herstructureren van voor-trainingsdata naar instructie-antwoordformaten de efficiëntie van kennisabsorptie verbetert en de voor-trainingsdistributie nauwer afstemt op het downstream gebruikersgebruik. Door de leerdoelstelling te veranderen van "voorspel het volgende woord" naar "reageer op een instructie", leert het model instructies te volgen en taken te generaliseren tijdens de voor-trainingsfase zelf, in plaats van te vertrouwen op een aparte, data-arme instructie-afstemmingsfase.

De auteurs merken expliciet op dat hun aanpak geoptimaliseerd is voor downstream gebruikersnut (het produceren van nuttige antwoorden) in plaats van tussenliggende taalmodellering-proxies zoals perplexiteit. Ze geven toe dat standaard voor-training waarschijnlijk beter presteert op perplexiteit-gebaseerde metrieken, aangezien FineInstructions niet traint op ruwe next-token voorspelling over documenten. Echter, de voorgestelde methode biedt een effectiever pad voor het trainen van modellen die in staat zijn tot hoogwaardig instructie-opvolgen en redeneren op schaal.

Het werk benadrukt ook dat de diversiteit van de gegenereerde instructies (afgeleid van echte gebruikersqueries) een cruciaal verschil is met eerdere synthetische methoden die vaak focussen op smalle academische taakformaten. De pipeline mitigeert effectief het risico op modelinstorting door antwoorden te gronden in brondocumenten en te filteren op kwaliteit, terwijl het gebruik van gedestilleerde modellen ervoor zorgt dat de procedure computationeel haalbaar is op voor-trainingsschalen.