Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

Probleemstelling

Grote Taalmodellen (LLMs) worden doorgaans getraind om gedrag te leren via demonstraties (voorbeelden van input-output paren) of ervaring (versterkingslering). Echter, een groot deel van de trainingsdata bestaat uit declaratieve kennis: instructies, regels, algoritmen en beschrijvingen die gedrag specificeren zonder te tonen hoe dit op concrete invoer wordt uitgevoerd.

Voor mensen is het leren van vaardigheden via abstracte instructies (symbolische kennis) cruciaal voor efficiëntie. Voor LLMs blijft de vraag open of ze procedurele kennis (herbruikbaar gedrag) kunnen internaliseren uit deze declaratieve trainingsdata. Bestaande methoden vertrouwen vaak op in-context instructies (prompting), wat per instance computatie vereist. Het internaliseren van instructies in de modelparameters zou echter leiden tot herbruikbaarheid en samenvoeging van vaardigheden zonder de overhead van prompting. De centrale uitdaging is dat het simpelweg toevoegen van instructies aan de trainingsdata vaak niet voldoende is om het model het bijbehorende uitvoerbare gedrag te laten leren.

Methodologie: Programming by Backprop (PBB)

De auteurs introduceren Programming by Backprop (PBB), een trainingsregime dat LLMs in staat stelt om procedurele kennis te verwerven uit declaratieve instructies. Het kernprincipe is de scheiding tussen het leren van de mapping van instructie naar gedrag en het internaliseren van nieuwe instructies.

PBB wordt geïmplementeerd via twee gestructureerde, meerstaps curricula:

1. Proactieve PBB (Proactive PBB):

   • Fase 1: Het model wordt getraind op een trainingsset van instructies en bijbehorende uitvoer-voorbeelden (execution examples). Hierbij wordt een mengsel van declaratieve verliesfuncties (instructie-modellering) en uitvoeringsverlies (gedrag-modellering) geoptimaliseerd. Het model leert hier een algemene correspondentie tussen instructies en gedrag.
   • Fase 2: Het model wordt blootgesteld aan evaluatie-instructies (nieuwe instructies waarvoor geen voorbeelden zijn) en traint uitsluitend op de declaratieve verliesfunctie (instructie-modellering).
   • Mechanisme: Omdat de parameters in Fase 1 al getraind zijn zodat gradiënten door de instructie-tekst voorspellend zijn voor de noodzakelijke updates voor uitvoering, kan het trainen op de instructie alleen (in Fase 2) het gedrag "compileren" in de gewichten.

2. Retroactieve PBB (Retroactive PBB):

   • Fase 1: Het model wordt getraind op de volledige set instructies (zowel train als test), maar uitsluitend via declaratieve modellering (zonder uitvoeringsvoorbeelden). Het model bezit hierbij "latente" declaratieve kennis zonder uitvoeringsbekwaamheid.
   • Fase 2: Er wordt uitvoerings-supervisie toegevoegd voor de trainingsset van instructies.
   • Mechanisme: De gradiënten uit de uitvoeringstraining in Fase 2 updaten de gedeelde parameters, waardoor de in Fase 1 verworven latente kennis wordt "geactiveerd" en omgezet in procedurele kennis die generaliseert naar de test-instructies.

De auteurs gebruiken twee domeinen voor evaluatie:

• Algoritmische uitvoering: Python-broncode die functies definieert (o.a. Random Arithmetic, Leetcode, en aangepaste cijfers).
• Tekstgeneratie onder formele grammatica's: Genereren van zinnen die voldoen aan context-vrije grammatica's (CFG).

Belangrijkste Resultaten

1. Hoge Sample-efficiëntie:

   • PBB is uitzonderlijk sample-efficiënt. Een enkele instructie in Fase 2 van de proactieve PBB kan vervangen worden voor tot 100 uitvoer-voorbeelden (zoals getoond in Figuur 2).
   • Dit presteert vergelijkbaar met of beter dan Algorithm Distillation (AD), waarbij modellen leren van input-specifieke voorbeelden.

2. Noodzaak van Curricula:

   • Het simpelweg mengen van instructies en voorbeelden in één trainingsfase is onvoldoende. De gestructureerde meerstapscurricula (zowel proactief als retroactief) zijn essentieel voor het succes van PBB. Zonder deze structuur blijft de prestatie op testgedrag verwaarloosbaar.

3. Implicitie Executie en Samenstelling:

   • Modellen getraind met PBB kunnen het juiste output genereren zonder expliciete Chain-of-Thought (CoT) redeneringstappen, hoewel CoT de nauwkeurigheid verder verbetert. Dit suggereert dat het model de multi-stap algoritmes impliciet uitvoert binnen de forward pass.
   • Modellen kunnen onafhankelijk getrainde instructies combineren (compositie) tijdens inferentie, zelfs als ze nooit samen zijn gezien tijdens het trainen.

4. Representatie en Generalisatie:

   • Code vs. Natuurlijke Taal: Instructies in Python-code worden effectiever geleerd dan semantisch equivalente beschrijvingen in natuurlijke taal, hoewel dit gat kleiner wordt bij grotere modellen.
   • Bias Correctie: PBB kan bias in trainingsdata corrigeren. Bijvoorbeeld, bij het leren van cijfers (ciphers) met een onbalans in shift-waarden (bijv. veel ROT13 voorbeelden), leert PBB via instructies een input-generaal functie, wat leidt tot robuustere prestaties bij variërende parameters dan puur trainen op de onbalansende voorbeelden.

5. RL vs. Supervised Fine-Tuning (SFT):

   • In de retroactieve PBB setting blijkt Reinforcement Learning (RL, specifiek GRPO) effectiever dan SFT voor Fase 2. RL leidt tot snellere en robuustere generalisatie, terwijl SFT de neiging heeft om de trainingsvoorbeelden uit te memoriseren voordat het generaliseert.

Bijdragen en Significantie

• Nieuwe Trainingsparadigma: PBB introduceert een methode om instructies in trainingsdata te "compileren" tot uitvoerbare gedragingen in de modelparameters, wat de afhankelijkheid van in-context prompting voor specifieke taken vermindert.
• Data Curation en Veiligheid: De resultaten hebben belangrijke implicaties voor de veiligheid van LLMs. Het toont aan dat instructies in trainingsdata onbedoeld uitvoerbare gedragingen kunnen activeren tijdens inferentie, zelfs zonder expliciete prompting. Dit onderstreept het belang van zorgvuldige data-curatie en filtering.
• Efficiëntie: Het bewijst dat declaratieve data (instructies) een krachtige vervanging kan zijn voor grote hoeveelheden demonstratie-data, wat de kosten en de tijd voor het trainen van gespecialiseerde modellen aanzienlijk kan verlagen.
• Fundamenteel Inzicht: Het werk levert bewijs voor "latent learning" in LLMs, waarbij modellen structurele relaties tussen symbolische beschrijvingen en gedrag leren die later kunnen worden geactiveerd, wat een brug slaat tussen declaratieve kennis en procedurele vaardigheden.

Kortom, het paper demonstreert dat LLMs, via een zorgvuldig ontworpen trainingscurriculum, in staat zijn om abstracte instructies te vertalen naar concrete, uitvoerbare algoritmen, met een efficiëntie die de huidige stand van de techniek aanzienlijk overstijgt.