Evolutionary Pre-Prompt Optimization for Mathematical Reasoning

Technische Samenvatting: Evolutionaire Pre-Prompt Optimalisatie voor Wiskundige Redenering

Probleemstelling
Large Language Models (LLM's) hebben een opmerkelijke bekwaamheid getoond in few-shot learning, met name wanneer dit wordt gecombineerd met Chain-of-Thought (CoT) prompting, wat modellen begeleidt om tussenliggende redeneerstappen te articuleren. De prestaties van CoT-prompting zijn echter zeer gevoelig voor de selectie en structuur van de few-shot voorbeelden die in de pre-prompt worden aangeboden. Hoewel handmatige prompt engineering gebruikelijk is, is dit vaak suboptimaal en arbeidsintensief. Bovendien vertrouwen bestaande geautomatiseerde methoden vaak op per-voorbeeld optimalisatie of fijnmazige gradiënt-gebaseerde updates, wat computationeel duur en gevoelig kan zijn voor overfitting, vooral gezien de beperkte omvang van benchmarks voor redeneren (bijv. GSM8k, MathQA), die vaak onvoldoend zijn voor traditionele fine-tuning. De kernuitdaging die wordt geadresseerd is hoe men systematisch een vaste, beknopte set few-shot CoT-voorbeelden kan selecteren die de prestaties van een LLM op een specifieke downstream wiskundige redeneertaak maximaliseert zonder te overfitten op de trainingsdata.

Methodologie: Evolutionaire Pre-Prompt Optimalisatie (EPPO)
De auteurs stellen Evolutionary Pre-Prompt Optimization (EPPO) voor, een vergelijkingsgebaseerd evolutionair framework dat ontworpen is om vaste few-shot pre-prompts op taakniveau te optimaliseren.

• Formulering: Het probleem wordt geformuleerd als een combinatorische optimalisatietaak. Een demonstratieset $D$ (bevatend prompt-oplossing paren) dient als een lookup-tabel. Het doel is om een kleine subset van indices (een "few-shot pre-prompt") uit $D$ te vinden die, wanneer gebruikt als een statische pre-prompt voor alle queries, de nauwkeurigheid van het model op een trainingsset $T$ maximaliseert.
• Optimalisatiealgoritme: EPPO maakt gebruik van black-box evolutionaire algoritmen (bijv. Discrete (1+1)-ES, LogNormal, DoubleFastGA) geïmplementeerd via de Nevergrad-bibliotheek. Cruciaal is dat de optimalisatie vergelijkingsgebaseerd is. In plaats van absolute prestatiescores te ontvangen (wat fijnmazige feedback zou vereisen), ontvangt de optimizer alleen de index van de best presterende kandidaat binnen een batch van $\kappa$ kandidaten in elke iteratie. Dit "ask-and-tell" paradigma vertrouwt op grove feedback (ranking) in plaats van gradiëntinformatie.
• Datastrategie: Om de computationele kosten te beheersen, gebruiken de auteurs een subsampling-strategie om demonstratiesets te creëren. Ze maken ook gebruik van een confidence-gebaseerde subsampling-methode (gebruikmakend van de onzekerheid in de LLaMA2-70B respons) om ervoor te zorgen dat de demonstratieset een divers bereik aan voorbeeld moeilijkheidsgraden dekt.
• Generalisatieanalyse: De paper biedt een informatie-theoretische analyse van het generalisatierisico. Omdat EPPO vertrouwt op beperkte feedback (vergelijkingen) en een eindig optimalisatiebudget, leiden de auteurs grenzen af die aantonen dat het risico op overfitting gecontroleerd is en afhangt van de granulariteit van de feedback en het budget, in plaats van de omvang van de ambient prompt-ruimte of de interne complexiteit van het model. Dit staat in contrast met gradiënt-gebaseerde methoden die toegang hebben tot fijnmazige data en meer vatbaar zijn voor overfitting in scenario's met weinig data.

Belangrijkste Bijdragen

1. Introductie van het Framework: De introductie van EPPO, een principieel combinatorisch optimalisatie-aanpak voor het selecteren van statische few-shot CoT pre-prompts.
2. Empirische Superieuriteit: Demonstratie dat gecontroleerde, exploitatieve evolutionaire zoektocht beter presteert dan brute-force selectie, random search en klassieke fine-tuning in scenario's met weinig data, terwijl het overfitting vermindert.
3. Prestatiewinsten: Het behalen van significante verbeteringen (meer dan 10 absolute punten in exact match scores) op benchmarks zoals GSM8k en MathQA met behulp van LLaMA2-modellen. Deze winsten zijn robuust over verschillende decoding-strategieën en zijn additief wanneer ze worden gecombineerd met Self-Consistency (SC).
4. Mechanistische Inzichten: Analyse die onthult dat geoptimaliseerde pre-prompts meer consistente en gestructureerde redeneersporen induceren. De paper vindt dat prompt kwaliteit (specifiek de selectie van voorbeelden) belangrijker is dan prompt lengte, en dat grotere few-shot groottes (bijv. 8-shot) kunnen leiden tot overfitting in gedownsamplede scenario's, terwijl kleinere groottes (bijv. 4-shot) vaak een betere generalisatie opleveren.
5. Theoretische Grenzen: Afleiding van generalisatiegrenzen voor evolutionaire few-shot optimalisatie die de effecten van datagrootte, populatie-parallellisme en optimalisatiebudget karakteriseren, wat theoretische garanties biedt die niet beschikbaar zijn voor gradiënt-gebaseerde fine-tuning.

Experimentele Resultaten

• Benchmarks: De methode werd geëvalueerd op GSM8k, SVAMP, MathQA en MATH met behulp van LLaMA2-7B en LLaMA2-70B.
• Prestaties: EPPO presteerde consequent beter dan baselines (standaard CoT, Long CoT en Resprompt). Op GSM8k met LLaMA2-70B behaalde EPPO (4-shot) 68,2% nauwkeurigheid vergeleken met 56,8% voor standaard CoT. Vergelijkbare winsten werden waargenomen op MathQA en MATH.
• Transfereerbaarheid:
  • Taak Transfer: Pre-prompts geoptimaliseerd op GSM8k werden succesvol getransfereerd naar SVAMP (dat geen trainingsset heeft), wat de prestaties verbeterde ten opzien van baselines.
  • Model Transfer: Prompts geoptimaliseerd voor het grotere 70B model transfigureerden effectief naar het 7B model, maar het omgekeerde (7B naar 70B) was minder effectief, hoewel nog steeds beter dan de baselines.
• Overfitting Dynamiek: Experimenten toonden aan dat het verhogen van het aantal shots (bijv. van 4 naar 8) in een gedownsamplede trainingssetting leidde tot overfitting (hogere trainingsnauwkeurigheid maar lagere testnauwkeurigheid). Het gebruik van de volledige trainingsset mitigeerde dit probleem echter.
• Efficiëntie: EPPO vereist aanzienlijk minder computationele middelen en geheugen dan backpropagation-gebaseerde fine-tuning, aangezien het geen backward pass vereist.

Betekenis en Claims
De paper claimt dat EPPO een robuust, efficiënt en theoretisch onderbouwd alternatief biedt voor zowel handmatige prompt engineering als gradiënt-gebaseerde fine-tuning voor wiskundige redeneertaken. Door gebruik te maken van vergelijkingsgebaseerde evolutionaire optimalisatie, navigeert de methode effectief door de prompt-selectieruimte terwijl het sterke generalisatiegaranties behoudt in omgevingen met schaarse data. De auteurs benadrukken dat het succes van EPPO niet louter voortkomt uit het vinden van "betere" voorbeelden, maar uit het vinden van een beknopte set voorbeelden die meer consistente redeneerpatronen in de LLM induceren. Het werk suggereert dat de sleutel tot effectieve CoT-redenering ligt in de strategische selectie van de prompt-inhoud in plaats van simpelweg de prompt-lengte te vergroten of te vertrouwen op complexe, per-voorbeeld retrieval-mechanismen. Verder stelt de paper dat de additieve compatibiliteit van EPPO met Self-Consistency en andere bootstrapping-methoden het een veelzijdige component maakt voor het verbeteren van de redeneercapaciteiten van LLM's.