Technische Samenvatting: Preplan Empowered LLM Mathematical Reasoning (PPC)

1. Probleemstelling

Bestaande redeneermethoden op basis van plannen voor Large Language Models (LLMs) hebben een vraag → plan → CoT paradigma gevestigd. Hoewel effectief, identificeren de auteurs een fundamentele, paradigmatische kloof in deze aanpak: zowel de plannings- als de uitvoeringsfase zijn gewijd aan het bepalen hoe een probleem op te lossen (het organiseren van stappen en het uitvoeren daarvan), terwijl de voorafgaande vraag wat er moet worden opgelost volledig impliciet blijft.

De fase "wat moet worden opgelost" omvat het herkennen van het probleemtype, het identificeren van toepasbare hulpmiddelen en concepten, het markeren van randvoorwaarden en het anticiperen op valkuilen. Bestaande methoden gaan ervan uit dat dit begrip impliciet ontstaat tijdens het genereren van het plan. Echter, foutenanalyse (Figuur 1) toont aan dat een aanzienlijk deel van de mislukkingen in huidige plan-gebaseerde methoden niet voortkomt uit rekenfouten, maar uit het falen om de aard van het probleem correct te begrijpen (bijvoorbeeld het verkeerd identificeren van een homogene kwadratische vergelijking, wat leidt tot een inefficiënt oplossingspad).

2. Methodologie: Het PPC Framework

Om deze kloof te overbruggen, stellen de auteurs PPC (Preplan-Plan-CoT) voor, een framework dat een expliciete preplan fase introduceert, waardoor een nieuw vraag → preplan → plan → cot paradigma ontstaat. Het preplan is een uitgebreide, niet-rekenkundige analyse die vastlegt wat er moet worden opgelost, en laat hoe het moet worden opgelost over aan de daaropvolgende plannings- en uitvoeringsfasen.

Het framework adresseert twee primaire uitdagingen via een specifieke pijplijn:

Uitdaging 1: Dataconstructie (Voorkomen van Lekkage en Spoilers)

Het genereren van schone preplan-supervisie is moeilijk omdat modellen de neiging hebben terug te vallen in "hoe het op te lossen" gedrag.

• Lekkage-falen: Het preplan repeteert de stapvolgorde van het komende plan.
• Spoiler-falen: Het preplan voert tussenberekeningen uit onder het mom van analyse.

Oplossing: De auteurs ontwerpen een driefasige synthese-pijplijn die wordt bewaakt door een spoiler-score detector.

1. Driefasige Generatie: Trajecten worden strikt van links naar rechts gegenereerd: $y_{pp} \sim \pi_{pp}(\cdot|q)$, $y_p \sim \pi_p(\cdot|q, y_{pp})$, en $y_e \sim \pi_e(\cdot|q, y_p)$. De preplan-prompt verbiedt expliciet afleidingen, uitgebreide formules en berekende waarden.
2. Spoiler-Score Filtering: Een op regels gebaseerde score $s(\cdot) \in \{0, \dots, 6\}$ aggregeert signalen van afleiding en onthulling van het antwoord (bijvoorbeeld zinnen als "vereenvoudigt tot", een hoge dichtheid aan vergelijkingen, lange inline wiskundige spans, meercijferige constanten). Trajecten worden alleen behouden als $s(y_{pp}) \leq \tau_s$ (waarbij $\tau_s=2$) EN het uiteindelijke antwoord correct is. Dit zorgt ervoor dat het preplan pure probleemoplossing is, en geen verkapte oplossing.

Uitdaging 2: Adherentie tijdens Training (Zorgen voor Nut)

Zelfs met schone data kan een model leren een oppervlakkig correct preplan te genereren terwijl het dit negeert tijdens de planningsfase.

Oplossing: De auteurs breiden Group Relative Policy Optimization (GRPO) uit met een composiete beloningsfunctie $R(y)$ die structurele en semantische uitlijning afdwingt:
$$R(y) = R_{out}(y) + \lambda_a R_{adh}(y) + \lambda_f R_{fmt}(y) - \lambda_s R_{sty}(y)$$

• $R_{out}$ (Outcome Reward): Gebruikt gedeeltelijke credit gebaseerd op een door een LLM beoordeelde nabijheid van het oplossingspad (niet alleen binaire correctheid) om gradiënten te bieden voor trajecten die bijna goed waren.
• $R_{adh}$ (Adherence Reward): Een LLM-criticus scoort de strategische uitlijning tussen het preplan en het plan. Cruciaal: een hoogwaardig plan dat het preplan negeert, krijgt een lage score, waardoor het model wordt gedwongen de begeleiding van het preplan daadwerkelijk te volgen.
• $R_{fmt}$ (Format Guard): Zorgt ervoor dat de output precies één instance van elke tag bevat (<preplan>, <plan>, <execute>) in volgorde, met een omkaderd antwoord.
• $R_{sty}$ (Style Penalty): Hergebruikt de spoiler-score $s(\cdot)$ als straf tijdens RL. Als het preplan tijdens training weer terugvalt in rekenkundige inhoud, wordt de beloning gestraft, waardoor de conceptuele integriteit die tijdens dataconstructie is vastgesteld, behouden blijft.

3. Belangrijkste Bijdragen

• Conceptueel: Het artikel formaliseert een paradigmatische kloof in bestaande redeneermethoden: het expliciete modelleren van hoe iets op te lossen versus het impliciete behandelen van wat er moet worden opgelost. Het stelt het vraag → preplan → plan → cot paradigma voor om dit aan te pakken.
• Methodologisch:
  • Constructie van de eerste redeneerdataset met expliciete preplan-supervisie, beschermd door een spoiler-score detector tegen lekkage- en spoiler-falen.
  • Ontwerp van een composiete GRPO-beloning die plan-preplan uitlijning expliciet afdwingt, waardoor het model wordt voorkomen dat het preplan behandelt als een decoratieve maar genegeerde stap.
• Empirisch: Uitgebreide evaluatie over vier backbones (Qwen3-4B, Qwen2.5-7B, Qwen2.5-Math-7B, Llama-3.1-8B) en vijf wiskundige benchmarks (AIME25, Minerva-Math, OlympiadBench, MATH-500, GSM8K).

4. Experimentele Resultaten

• Prestatie: PPC behaalt de beste resultaten op 39 van de 40 metrics over alle benchmarks en backbones.
• Verbeteringen: Vergelijkend met de sterkste baselines (Plan-Tuning, PTA-GRPO), verbetert PPC maj@16 met +2,23 en pass@16 met +3,06.
• Efficiëntie: Ondanks het toevoegen van een extra fase, genereert PPC minder tokens dan volledige CoT en aanzienlijk minder dan PTA-GRPO. Het preplan en plan beperken de uitvoering tot een enkel oplossingspad, waardoor de redundante omwegen die gebruikelijk zijn in onbeperkte CoT worden vermeden.
• Betrouwbaarheid: Interventies tijdens inferentie (het schudden van preplan-zinnen, het gebruik van mismatchende preplans, of generieke placeholders) veroorzaken ernstige prestatiedalingen (bijvoorbeeld maj@16 daalt van 97,2 naar 46,8 op Qwen3-4B met mismatchende preplans). Dit bevestigt dat het model daadwerkelijk vertrouwt op de inhoud van het preplan in plaats van het slechts te produceren.

5. Betekenis en Claims

Het artikel stelt dat de primaire beperking van huidige plan-gebaseerde redenering niet het gebrek aan planning is, maar het gebrek aan een toegewijde fase voor probleembegrip. Door het "wat moet worden opgelost" expliciet te maken via het preplan, kan het model geschikte hulpmiddelen en strategieën selecteren voordat het zich vastlegt op een oplossingspad.

De auteurs benadrukken dat deze verbetering niet louter te wijten is aan prompting (zoals blijkt uit de "Prompt-Only" baseline die onderpresteert), maar vereist het leren van het paradigma via de specifieke dataconstructie en composiete belonings-training. Het framework toont aan dat expliciet probleembegrip gelijktijdig leidt tot hogere nauwkeurigheid en grotere inferentie-efficiëntie, zonder extra token-overhead in vergelijking met standaard CoT.