CROP: Token-Efficient Reasoning in Large Language Models via Regularized Prompt Optimization

Probleemstelling

Grote Taalmodellen (LLMs) hebben hun prestaties op complexe redeneertaken aanzienlijk verbeterd door strategieën zoals "Chain of Thought" (CoT), waarbij modellen problemen stap-voor-stap ontleden. Hoewel dit de nauwkeurigheid verhoogt, leidt de generatie van uitgebreide, verbale tussenstappen tot twee kritieke problemen in productiesystemen:

1. Hoge Latentie: Het genereren van duizenden tussen-tokens veroorzaakt aanzienlijke vertraging.
2. Exorbitante Kosten: De token-gebruikskosten lopen op, wat de haalbaarheid van complexe redeneerpijplijnen beperkt.

Bestaande methoden voor automatische prompt-optimalisatie (APO) focussen bijna uitsluitend op het maximaliseren van taaknauwkeurigheid. Hierdoor ontstaat een onbedoeld effect: de optimalisatie voegt steeds meer instructies en logica toe om fouten te corrigeren, wat resulteert in "bloated" (opgeblazen) prompts die het model aanzetten tot nog langere en meer verbale redeneertraces. Er ontbreekt een wiskundige beperking (regularisatie) in tekstuele optimalisatie om de lengte van het antwoord te straffen, vergelijkbaar met L1/L2-straftermen in traditioneel machine learning.

Methodologie: CROP

De auteurs stellen CROP (Cost-Regularized Optimization of Prompts) voor, een APO-framework dat een regularisatieterm introduceert om de responslengte te beperken zonder de redeneerlogica te verliezen.

Kerncomponenten:

1. Dual-Objective Textual Differentiation:
   CROP behandelt promptoptimalisatie als een meerdoelprobleem. In plaats van alleen een graad voor nauwkeurigheid te gebruiken, genereert het twee soorten "tekstuele gradiënten":

   • Task Gradient ($g_{task}$): Een evaluatie van de logische juistheid en nauwkeurigheid van het antwoord.
   • Regularization Gradient ($g_{reg}$): Een evaluatie van de beknoptheid. Deze wordt gegenereerd door een secundaire evaluator (Brevity Evaluator) die instructies geeft om overbodige tekst (conversatievullers, herhalingen) te verwijderen, maar kritieke rekenstappen intact te houden.

2. Gradient Aggregatie:
   De twee gradiënten worden samengevoegd via string-concatenatie:
   $$g_{total} = g_{task} \oplus "\n" \oplus g_{reg}$$
   Deze gecombineerde feedback wordt gebruikt door een Meta-Optimizer (een krachtig LLM) om de systeem-prompt iteratief bij te werken.

3. Regularisatie Mechanisme:
   De lengte-straf wordt alleen toegepast als de output een vooraf gedefinieerde drempel ($\tau$) overschrijdt. De evaluator is specifiek geprogrammeerd om alleen "perifere" elementen aan te vallen en de kernlogica te behouden.

4. Selectie van de Optimale Prompt:
   Na de optimalisatiecyclus wordt de beste prompt geselecteerd op basis van een samengestelde score:
   $$S(p) = \text{Accuracy}(p) - \lambda \cdot L_{norm}(p)$$
   Waarbij $\lambda$ een afstelbare parameter is die de afweging tussen nauwkeurigheid en token-efficiëntie bepaalt.

Belangrijkste Bijdragen

• Cost-Aware Prompt Optimization: CROP is een nieuw framework dat de koppeling tussen redeneernauwkeurigheid en generatie-verbositeit doorbreekt door een adaptieve tekstuele lengte-straf in te voeren.
• Massale Inference-Efficiëntie: Het framework reduceert het token-gebruik met tot 80,6% op complexe benchmarks, terwijl de nauwkeurigheid concurrerend blijft.
• Autonome Ontdekking van Symbolisch Redeneren: CROP dwingt het model niet handmatig, maar via gradiënten om over te schakelen op een compacte, symbolische redeneerstijl (vergelijkbaar met "Chain-of-Draft"). Het model leert om direct naar de kernberekening te gaan zonder conversatievullers.

Resultaten

De methode werd getest op drie complexe redeneerdatasets: GSM8K (wiskunde), LogiQA (logisch redeneren) en BIG-Bench Hard (objecttelling).

• Token-Reductie:
  • GSM8K: 74,8% reductie.
  • Object Counting (BBH): 80,6% reductie.
  • LogiQA: 66,5% reductie.
• Nauwkeurigheid: De nauwkeurigheid bleef vergelijkbaar met de onbeperkte Chain-of-Thought baselines (bijv. 93,4% vs 95,3% op GSM8K voor Gemini 2.0 Flash).
• Vergelijking met Baselines:
  • Direct Prompting (geen redenering): Leidt tot een instorting van de nauwkeurigheid.
  • Standaard CoT: Zeer hoog token-gebruik.
  • TextGrad (bestaande APO): Verbeterde nauwkeurigheid maar geen significante reductie in token-gebruik.
  • CROP: Bereikt de beste balans tussen hoge nauwkeurigheid en minimale token-gebruik.

Kwalitatieve Observaties:
De geoptimaliseerde prompts dwingen het model om van conversatieve zinnen ("Laten we eerst kijken naar...") over te stappen naar een dichte, symbolische notatie (bijv. directe wiskundige formules). Dit gedrag ontstaat autonoom zonder menselijke ingreep.

Ablatie Studies:

• Optimizer Grootte: Een klein model als meta-optimizer (bijv. Gemini 2.0 Flash) leidde tot prompt-kwaliteitsverlies (overfitting op specifieke fouten). Een krachtig model met "Thinking"-capaciteiten (Gemini 3.1 Pro) was noodzakelijk om de complexe, tegenstrijdige doelen (nauwkeurigheid vs. beknoptheid) te synthetiseren.
• Batch Grootte: Stochastische updates met een batchgrootte van 1 leidden tot instabiliteit en het verliezen van redeneercapaciteit. Een grote batchgrootte (128) stabiliseerde de gradiënten en voorkwam het instorten van de logica.

Betekenis en Conclusie

CROP biedt een praktische, direct inzetbare oplossing voor het deployen van token-efficiënte AI-systemen. In plaats van dure fine-tuning van modelgewichten of complexe architecturale wijzigingen, reguleert CROP de verbositeit op het niveau van de prompt.

Dit onderzoek toont aan dat de "verbositeit" van redeneertraces een overbodige last is die kan worden verwijderd zonder in te leveren op de kwaliteit van het redeneren. Voor productieomgevingen betekent dit een drastische verlaging van operationele kosten en latency, waardoor complexe redeneerpijplijnen economisch haalbaar worden voor schaalbare toepassingen. De methode benadrukt dat toekomstige optimalisatie van LLMs niet alleen gericht moet zijn op "slimmer" worden, maar ook op "efficiënter" genereren.