Technische Samenvatting: Tool-Geïntegreerde Verificatie voor Test-Time Compute Scaling in Small Language Models

Probleemstelling

Recente ontwikkelingen in test-time compute scaling hebben aangetoond dat het toewijzen van extra rekenkracht tijdens de inferentie de redeneercapaciteiten van Small Language Models (sLM's) aanzienlijk kan verbeteren. De huidige benaderingen voor scaling leunen echter zwaar op Large Language Models (LLM's) die fungeren als verifieerders (bijv. Process Reward Models of Critic-modellen) om de beste oplossing uit meerdere kandidaten te selecteren. Deze afhankelijkheid van grote verifieerders ondermijnt de efficiëntie en de kostenvoordelen van het gebruik van sLM's.

Een kritieke flessenhals die in dit werk wordt geïdentificeerd, is het onvermogen van sLM's om hun eigen gegenereerde outputs betrouwbaar te verifiëren, met name bij taken die vereisen dat rekenkundige feiten of feitelijke kennis worden onthouden. Terwijl grotere modellen oplossingen kunnen verifiëren met behulp van chain-of-thought redenering alleen, worstelen sLM's zelfs met eenvoudige berekeningen naarmate de complexiteit toeneemt. De auteurs hypothetiseren dat dit falen voortkomt uit de beperkte capaciteit van sLM's om het enorme aantal berekeningsfeiten te onthouden die nodig zijn voor verificatie, in plaats van een gebrek aan logisch redeneervermogen.

Methodologie: Tool-Geïntegreerde Verificatie (T1)

Om de memorisatie-flessenhals aan te pakken, stellen de auteurs Tool-Geïntegreerde Verificatie (T1) voor, een tweestaps-framework ontworpen om memorisatie-zware stappen uit te besteden aan externe tools, terwijl de sLM behouden blijft voor de uiteindelijke verificatie.

Het Tweestaps-Framework

1. Tool-gebaseerde Filteringsfase (ToolV):
   • Het sLM genereert uitvoerbare code (bijv. Python) of retrieval-queries op basis van de kandidaatsoplossing.
   • Een externe tool (zoals een code interpreter of kennisretriever) voert de code uit of haalt feiten op om de numerieke nauwkeurigheid en de feitelijke consistentie te verifiëren.
   • Deze fase fungeert als een binaire filter ($f(x, y; T, \theta) \in \{0, 1\}$), die oplossingen met rekenfouten of onjuiste feiten wegwerpt.
2. Reward Model-gebaseerde Scoringfase:
   • De resterende gefilterde oplossingen worden gescoord door een reward model (ofwel een Process Reward Model [PRM] of een Generative Reward Model [GenRM]).
   • De uiteindelijke output wordt geselecteerd als de kandidaat met de hoogste score van het reward model.

Kennisdistillatie

Om de prestaties van beide fasen te verbeteren, maken de auteurs gebruik van kennisdistillatie van een groter teacher-model (bijv. GPT-4o-mini).

• ToolV Distillatie: Het sLM wordt gefinetuned om tool-calling queries (code) te genereren en verificatieresultaten te extraheren op basis van de outputs van de teacher.
• RM Distillatie: Het sLM wordt gefinetuned om verificatierationale en scores te genereren, waarbij het de evaluatie van de teacher nabootst.
• Multi-LoRA: Afzonderlijke Low-Rank Adaptation (LoRA) adapters worden gebruikt voor de tool-gebaseerde en de reward-gebaseerde taken om de verschillende doelstellingen tijdens het finetunen efficiënt te beheren.

Theoretische Analyse

Het paper biedt theoretische garanties die de T1-benadering ondersteunen:

1. Reductie van Memoristatie: Met behulp van informatie-theoretische analyse bewijzen de auteurs dat, zonder tools, een optimale verifieerder een dataset van omvang $O(M^3)$ moet onthouden (waarbij $M$ het bereik van de getallen is) om een foutmarge van bijna nul te bereiken. Door een externe tool te gebruiken voor de berekening, daalt de wederzijdse informatie die in de modelparameters opgeslagen moet worden naar nul, aangezien de tool de verificatielogica afhandelt.
2. Scaling Prestaties: De auteurs modelleren de verifieerder als een imperfecte filter met ruis. Ze demonstreren dat het gebruik van een tool-gebaseerde filter de waarschijnlijkheid vergroot om de grondwaarheid (ground truth) correct te identificeren in een Best-of-N selectieproces. Theoretisch zorgt dit voor een verbeterde monotoniciteit van de test-time scaling prestaties, waardoor het vergroten van het aantal gegenereerde oplossingen ($N$) betere resultaten oplevert wanneer er een betrouwbare filter aanwezig is.

Experimentele Resultaten

Experimenten werden uitgevoerd op wiskundige redeneerbenchmarks (MATH500, GSM8K) en kennisintensieve taken (MMLU-Pro subset).

• Prestatiewinst: T1 stelt sLM's in staat om significant grotere modellen te overtreffen. Specifiek presteert een Llama-3.2 1B model dat T1 gebruikt onder test-time scaling beter dan een Llama-3.1 8B model op de MATH500 benchmark.
• Integratie met Verifieerders: T1 verbetert de nauwkeurigheid van zowel PRM's als GenRM's. Wanneer gecombineerd met een gedistilleerde PRM, stelt T1 een 1B model in staat om de prestaties van een 8B model te evenaren of te overtreffen met minder gegenereerde oplossingen.
• Filteringseffectiviteit: Analyse toont aan dat ToolV effectief onjuiste oplossingen wegfiltert die veroorzaakt worden door rekenfouten, welke generatieve verifieerders alleen vaak missen.
• Compute Efficiëntie: Zelfs wanneer rekening wordt gehouden met de token-overhead van het genereren van code (een toename van ongeveer 1.14x in het compute budget), biedt T1 superieure prestaties vergeleken met het simpelweg opschalen van de omvang van de verifieerder of het gebruiken van grotere modellen zonder tools.
• Data Efficiëntie: De tool-gebaseerde verifieerder behoudt concurrerende prestaties, zelfs wanneer deze gedistilleerd is met slechts 10% van de trainingsdata, wat de efficiëntie ervan benadrukt.

Betekenis en Claims

Het paper claimt dat tool-integratie niet louter voordelig maar noodzakelijk is om succesvolle verificatie in sLM's onder test-time scaling mogelijk te maken. De belangrijkste bijdragen zijn:

1. Identificatie van de Flessenhals: Het systematisch identificeren van memorisatie-zware stappen als het primaire faalpunt voor sLM-verificatie.
2. Framework Voorstel: De introductie van T1, een naadloos tweestaps-framework dat externe tools integreert met sLM's voor zowel generatieve verifieerders als PRM's.
3. Theoretische Rechtvaardiging: Het bewijzen dat het uitbesteden aan tools de memorisatiebelasting vermindert en theoretisch verbeterde scaling-prestaties garandeert.
4. Empirische Validatie: Het demonstreren dat kleine modellen (bijv. 1B parameters) redeneercapaciteiten kunnen bereiken die vergelijkbaar zijn met veel grotere modellen (bijv. 8B+), door gebruik te maken van tools, waardoor de deployment-efficiëntie van sLM's behouden blijft.

De auteurs concluderen dat T1 een praktisch pad biedt om de prestaties van sLM's in complexe redeneertaken te verbeteren zonder de prohibitieve kosten van het opschalen van modelparameters, mits de verificatiebelasting wordt verschoven naar externe tools.