Technische Samenvatting: TextReg

Probleem: Prompt-distributie-overfitting

Grote Taalmodellen (LLM's) zijn zeer gevoelig voor input-prompts, die fungeren als de primaire interface voor het specificeren van taakdoelen en -beperkingen. Hoewel recente prompt-optimalisatiemethoden prompts iteratief herschrijven met behulp van feedback gegenereerd door LLM's om de prestaties te verbeteren, lijden ze vaak aan prompt-distributie-overfitting. Naarmate de optimalisatie vordert, hebben prompts de neiging langer te worden en zich te vullen met smalle, steekproefspecifieke regels (bijvoorbeeld uitzonderingen voor specifieke entiteiten of randgevallen) in plaats van compacte, algemene principes te coderen.

Deze faalmodus manifesteert zich langs twee gekoppelde dimensies:

1. Capaciteitskosten: Prompts nemen in lengte toe, wat meer contextbudget verbruikt en het voor modellen moeilijker maakt om relevante instructies te lokaliseren binnen beperkte contextvensters.
2. Verenging van de reikwijdte: Prompts verzamelen regels die de trainingsfout verlagen, maar die alleen van toepassing zijn op een smal subset van inputs; ze fungeren als ad-hoc patches in plaats van herbruikbare taakprincipes.

Bestaande optimalisatoren missen mechanismen om een van deze twee dimensies te controleren, wat leidt tot prompts die goed presteren op trainingsdata, maar slecht generaliseren naar out-of-distribution (OOD) inputs, moeilijkere taakvarianten of verschillende modelarchitecturen.

Methodologie: TextReg

De auteurs stellen TextReg voor, een regularisatiekader dat is ontworpen om prompt-distributie-overfitting te mitigeren door representatieve inefficiëntie te controleren. Het kader formaliseert inefficiëntie als een maatstaf met twee factoren:
$$I(p) = C(p) \cdot W(p)$$
Waarbij $C(p)$ de capaciteitskosten (tokenlengte) zijn en $W(p)$ de verenging van de reikwijdte (het aandeel regels met een beperkte generalisatiereikwijdte). TextReg streeft naar het minimaliseren van een geregulariseerd doel: $\min LD_{train}(p) + \lambda I(p)$.

Aangezien prompt-optimalisatie plaatsvindt in een niet-differentieerbare discrete tekstruimte, realiseert TextReg dit doel via drie complementaire fasen die "tekstuele gradiënten" genereren en toepassen:

1. Dual-Evidence Gradiëntenzuivering

Deze fase werkt aan de bron van het optimalisatiesignaal om ruwe taakgradiënten te filteren voordat ze invloed uitoefenen op de prompt. Het onderscheidt tussen breed toepasbare regels en smalle, steekproefspecifieke patches met behulp van twee bewijsbronnen:

• Lokale Gevalsbewijzen: Analyseert of een voorgestelde gradiëntregel direct terug te voeren is op idiosyncratische kenmerken van de huidige mini-batch (bijvoorbeeld specifieke entiteiten of zeldzame randvoorwaarden).
• Globale Herhalingsbewijzen (RuleBank): Houdt een geheugen bij van geaccepteerde gegeneraliseerde regels. Een gradiënt wordt alleen behouden als er voldoende herhalingsondersteuning is over optimalisatiestappen heen, wat aangeeft dat het de algemene taakstructuur vastlegt in plaats van een eenmalige fix.
• Actie: Gradiënten worden geclassificeerd als Gegeneraliseerde Regels (behouden en beknopt herschreven), Gevalspatches (verworpen) of Alleen Stijl (verworpen).

2. Semantische Edit-Regularisatie (SER)

Deze fase diagnoseert inefficiëntie die zich al heeft opgehoopt in de prompt of die is geïntroduceerd door het herschrijfproces. Het schat de verandering in representatieve inefficiëntie ($\Delta \log I(p)$) in tussen de vorige prompt ($p_{t-1}$) en de huidige prompt ($p_t$) met behulp van een finite-difference-aanpak:

• Capaciteitskanaal: Wordt geactiveerd als de relatieve groei in tokenlengte een drempel overschrijdt.
• Reikwijdtekanaal: Gebruikt een semantische diff-analysator om te bepalen of de samenstelling van regels is verengd (toevoeging van geval-specifieke patches) of verbreed.
• Actie: Als degradatie wordt gedetecteerd, synthetiseert SER een tekstuele regularisatiegradiënt ($g_{reg}$) die het model instrueert om de prompt te comprimeren, redundante regels te samenvoegen of smalle regels te vervangen door bredere principes.

3. Regularisatie-gestuurde Prompt-update

De laatste fase voert de prompt-herschrijving uit. Het selecteert een nieuwe promptkandidaat ($p_{t+1}$) uit een set taak-trouwe edits (die de gezuiverde taakgradiënt $\tilde{g}_{task}$ implementeren) die het meest compatibel is met de regularisatiegradiënt ($g_{reg}$).

• De update prioriteert taakverbetering, maar stuurt de selectie naar edits die toename van capaciteitskosten of verenging van de reikwijdte minimaliseren.
• Als geen enkele kandidaat beide signalen voldoet, valt het systeem terug op de taak-trouwe update, waardoor de regularisatie fungeert als een zachte straf in plaats van een harde beperking die de optimalisatie stopt.

Belangrijkste Bijdragen

1. Formaliseren van Representatieve Inefficiëntie: Het artikel definieert prompt-distributie-overfitting als een falen van representatie-efficiëntie in discrete tekstruimte-optimalisatie, en introduceert een maatstaf met twee factoren ($I(p)$) die de interactie tussen promptlengte en regelspecificiteit vastlegt.
2. Geregulariseerde Optimalisatie in Tekstruimte: TextReg introduceert een kader om soft-penalty-doelen in tekstruimte te realiseren zonder differentieerbare parameters, met gebruikmaking van Dual-Evidence Gradiëntenzuivering, Semantische Edit-Regularisatie en Regularisatie-gestuurde Prompt-update.
3. Verbeterde OOD-Generalisatie: Uitgebreide experimenten tonen aan dat het controleren van representatieve inefficiëntie overfitting aanzienlijk mitigeert, wat leidt tot robuuste prestaties over datasets en modelarchitecturen heen.

Experimentele Resultaten

De auteurs hebben TextReg geëvalueerd op zes redeneerbenchmarks (Logische Deductie, Tracking van Geschudde Objecten, GSM8K, SVAMP, MultiArith) met behulp van vier verschillende LLM-backends (Qwen2, Phi-3.5, Llama-3, Llama-3.1). Prompts werden geoptimaliseerd op "3-object"- of bron-taken en getest op moeilijkere "5/7-object"-varianten en verschillende rekenkundige datasets.

• Prestaties: TextReg presteerde consistent beter dan baselines (Zero-shot CoT, TextGrad en REVOLVE) op OOD-generalisatie.
  • Het bereikte nauwkeurigheidsverbeteringen van tot +11,8% ten opzichte van TextGrad en +16,5% ten opzichte van REVOLVE op specifieke benchmarks.
  • Opmerkelijk is dat terwijl baselines vaak de OOD-nauwkeurigheid verslechterden tot onder de niet-geoptimaliseerde CoT-baseline (wat overfitting vertoonde), TextReg de generalisatievoordelen van CoT behield en uitbreidde.
• Ablatie: Het verwijderen van een van de drie kerncomponenten resulteerde in een consistente daling van de prestaties, wat hun gezamenlijke noodzaak bevestigt.
• Weerstandsvermogen: TextReg behield sterke prestaties, zelfs wanneer de LLM's die specifieke rollen aanstuurden (gradiëntenzuivering, regularisatie-analyse of prompt-herschrijving) werden gedegradeerd tot zwakkere modellen, wat suggereert dat het regularisatiesignaal structureel is en niet afhankelijk van de capaciteit.

Betekenis en Claims

Het artikel stelt dat prompt-distributie-overfitting fundamenteel een falen is van representatie-efficiëntie, en niet slechts een artefact van optimalisatiedynamiek. Door prompt-optimalisatie te benaderen door de lens van regularisatie – specifiek het controleren van de groei van capaciteitskosten en verenging van de reikwijdte – biedt TextReg een principieel mechanisme om prompts te produceren die generaliseren buiten de trainingsdistributie.

De auteurs positioneren dit werk als een methodologische vooruitgang die prompt-gedrag voorspelbaarder en makkelijker te auditeren maakt. Zij wijzen expliciet op huidige beperkingen: het kader richt zich op single-turn redeneren met goed gedefinieerde gedragsregels, en laat open-ended generatie, multi-turn prompts en agent-instructies (waar regelstructuren vervagen) over voor toekomstig werk.