🤖 AI

Learning from Contrasts: Synthesizing Reasoning Paths from Diverse Search Trajectories

Dit artikel introduceert het Contrastive Reasoning Path Synthesis (CRPS)-framework, dat door het analyseren van de verschillen tussen succesvolle en mislukte zoektrajecten in Monte Carlo Tree Search, een dataset van slechts 60.000 voorbeelden genereert die prestaties levert die gelijkwaardig of beter zijn dan die van modellen getraind op 590.000 voorbeelden via standaard methoden.

Oorspronkelijke auteurs: Peiyang Liu, Zhirui Chen, Xi Wang, Di Liang, Youru Li, Zhi Cai, Wei Ye

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Peiyang Liu, Zhirui Chen, Xi Wang, Di Liang, Youru Li, Zhi Cai, Wei Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groot labyrint probeert te vinden. Je hebt een robot die heel slim is, maar die soms vastloopt in doodlopende straten.

Het oude probleem: Alleen de winnaar tellen
Vroeger, als je deze robot liet zoeken, keek je alleen naar het ene pad dat perfect naar de uitgang leidde. Alle andere paden – die waar de robot vastliep, die waar hij in de war raakte, of die waar hij onnodig veel rondjes liep – werden direct weggegooid. Je dacht: "Die zijn nutteloos, we hebben alleen de winnaar nodig."

De auteurs van dit paper zeggen: "Wacht even! Die fouten zijn juist goud waard!" Als je alleen naar de winnaar kijkt, leer je de robot wat hij moet doen, maar niet waarom hij de andere dingen niet moet doen.

De nieuwe oplossing: CRPS (Het "Vergelijkende Leraar"-systeem)
Deze nieuwe methode heet CRPS. Het werkt als een slimme leraar die twee leerlingen bekijkt:

Leerling A (De Winnaar): Die heeft het probleem opgelost.
Leerling B (De Foutmaker): Die is vastgelopen in een doodlopende straat.

In plaats van Leerling B te straffen en te vergeten, pakt de leraar (een heel slim AI-model) beide antwoorden en zegt: "Kijk eens goed. Leerling A ging hier rechtdoor, maar Leerling B draaide hier linksaf en kwam vast te zitten. Waarom? Omdat linksaf een valstrik was!"

De leraar schrijft dit op in een duidelijke uitleg: "Doe dit niet, want dat is een valstrik. Doe dit wel, want dat werkt."

Hoe werkt het precies? (De Analogie van de Bouwmeester)
Stel je voor dat je een huis wilt bouwen.

De Verkenner (Explorer): Dit is een snelle bouwvakker die honderden schetsen maakt. Sommige zijn perfect, maar veel zijn raar: muren die in de lucht hangen, ramen die op de grond zitten, of deuren die naar binnen openen.
De Analytiker (Analyst): Dit is de ervaren architect. Hij kijkt niet alleen naar de perfecte tekening. Hij pakt de perfecte tekening én de tekening met de muren in de lucht. Hij zegt: "Kijk, in de perfecte tekening hebben we de fundering eerst gelegd. In de slechte tekening probeerden we direct de muren te bouwen. Dat is de fout!"

Vervolgens schrijft de architect een nieuwe, perfecte bouwinstructie. In deze instructie staat niet alleen hoe je het huis bouwt, maar ook: "Vergeet niet: bouw eerst de fundering, want als je dat niet doet (zoals in de slechte tekening), stort het huis in."

Waarom is dit zo geweldig?

Je hebt veel minder data nodig:
Normaal gesproken moet je een robot duizenden keren laten oefenen met alleen de perfecte antwoorden om hem slim te maken. Met CRPS hoeft hij maar een fractie daarvan te zien (bijvoorbeeld 60.000 voorbeelden in plaats van 590.000). Waarom? Omdat hij leert van de contrasten. Hij begrijpt de valkuilen, dus hij maakt minder fouten. Het is alsof je iemand leert zwemmen door niet alleen te laten kijken hoe een olympisch kampioen zwemt, maar ook uit te leggen waarom de andere mensen verdrinken.
Het werkt beter op nieuwe dingen:
Als je een robot alleen leert met perfecte voorbeelden, kan hij soms "leren" om te raden zonder echt te begrijpen. Maar als hij leert waarom een bepaalde aanpak faalt, begrijpt hij de logica beter. Daardoor kan hij die logica ook toepassen op problemen die hij nog nooit heeft gezien (zoals wiskundeproblemen van een heel ander type).
Het bespaart tijd en energie:
Het klinkt misschien raar, maar het is sneller om eerst een paar slimme mensen (de architecten) te laten analyseren waarom iets fout gaat, en dan die analyse te gebruiken om een robot te trainen, dan om de robot zelf duizenden keren te laten proberen en te laten falen.

Kort samengevat:
In plaats van alleen naar de winnaar te kijken en de verliezers te vergeten, gebruikt deze methode de verliezers als een spiegel. Door te kijken naar het verschil tussen "wat wel werkt" en "wat niet werkt", leren de computersystemen veel sneller, slimmer en robuuster. Het is de kracht van leren van fouten, niet alleen van successen.

Titel: Learning from Contrasts: Synthesizing Reasoning Paths from Diverse Search Trajectories

Auteurs: Peiyang Liu, Zhirui Chen, Xi Wang, Di Liang, Youru Li, Zhi Cai, Wei Ye.
Affiliaties: Peking University, UCAS-Terminus AI Lab, Tencent, Beijing University of Technology.

1. Probleemstelling

Grote Taalmodellen (LLMs) presteren aanzienlijk beter op complexe redeneertaken (zoals wiskunde en planning) wanneer ze worden getraind op hoogwaardige Chain-of-Thought (CoT) data. Momenteel wordt Monte Carlo Tree Search (MCTS) veel gebruikt om automatisch oplossingsruimtes te verkennen en trainingsdata te genereren.

De huidige standaardaanpak voor het extraheren van supervisie uit MCTS-trajecten is echter inefficiënt:

Selectie-paradigma: Methoden zoals Rejection Sampling Fine-Tuning (RFT) behouden slechts het ene traject met de hoogste beloning (de "winnaar") en verwerpen alle andere verkende paden.
Verlies van informatie: Hiermee gaat de waardevolle informatie verloren die zit in de "verworpen" paden, zoals plausibele maar incorrecte strategieën, lokale fouten en systematische biases.
Data-inefficiëntie: Om goede prestaties te behalen, moeten modellen worden getraind op enorme datasets (honderdduizenden voorbeelden) die via deze ruwe selectie zijn verkregen, wat leidt tot een enorme rekenlast en een gebrek aan diepgaand begrip van waarom bepaalde strategieën falen.

2. Methodologie: CRPS

Het paper introduceert Contrastive Reasoning Path Synthesis (CRPS), een raamwerk dat de supervisie-extractie transformeert van een filterproces naar een synthetisch generatief proces. In plaats van fouten te verwerpen, gebruikt CRPS ze als leerzame tegenvoorbeelden.

Het systeem werkt volgens een ontkoppelde "Explorer-Analyst" architectuur:

A. Explorer (Verkenner)

Een gespecialiseerd redeneermodel (bijv. Qwen2.5-Math-7B) voert MCTS uit om een verscheidenheid aan oplossingspaden te genereren voor een gegeven probleem.
Het verzamelt zowel succesvolle paden (hoogte beloning) als mislukte of suboptimale paden.

B. Analyst (Analist)

Een krachtiger model (bijv. gpt-5-mini) fungeert als "criticus". Het analyseert paren van trajecten: een positief voorbeeld ( $\tau^+$ ) en een negatief contrast ( $\tau^-$ ).
Contrastieve Analyse: De analyst voert een dubbel-granulaire analyse uit:
1. Globale Strategische Critique: Identificeert op welk hoog niveau de strategie van het mislukte pad afwijkt van het succesvolle pad (bijv. verkeerde aanname over de probleemstructuur).
2. Lokale Stap-voor-Stap Critique: Gebruikt Semantische Alignering om het exacte punt te vinden waar de logica van het mislukte pad afwijkt, en analyseert de operationele logica van die specifieke stap.
Sampling Strategie: Negatieve voorbeelden worden niet willekeurig gekozen, maar gebaseerd op de bezoekfrequentie in de MCTS-boom. Pad die vaak werden verkend maar toch fout bleken, worden als "harde negatieven" geselecteerd omdat ze sterke systematische biases vertegenwoordigen.

C. Synthese

Gebaseerd op de verkregen inzichten (critiques), synthetiseert de analyst een nieuw, geoptimaliseerd redeneertraject ( $\hat{\tau}$ ).
Dit nieuwe pad volgt de succesvolle strategieën van $\tau^+$ , maar integreert expliciet de waarschuwingen over de fouten in $\tau^-$ . Het model leert niet alleen wat goed is, maar ook waarom bepaalde benaderingen moeten worden vermeden.
Een verificatiefilter zorgt ervoor dat alleen synthetische paden met het correcte eindantwoord worden opgeslagen in de dataset.

3. Belangrijkste Bijdragen

CRPS Framework: Een nieuw data-synthese raamwerk dat het volledige spectrum van MCTS-verkenning benut om dichte supervisie te genereren via contrastieve analyse, in plaats van alleen de "winnaar" te selecteren.
Extreme Data-efficiëntie: Het paper toont aan dat modellen getraind op slechts 60.000 CRPS-synthetische voorbeelden presteren die gelijk zijn aan of beter zijn dan baselines getraind op 590.000 voorbeelden via standaard rejection sampling. Dit is een 20-voudige reductie in datasetgrootte.
Verbeterde Generalisatie: Modellen getraind met CRPS generaliseren beter naar domeinen die niet in de trainingsdata zaten (Out-of-Domain), wat suggereert dat het leren van het contrast tussen succes en falen leidt tot robuustere en meer overdraagbare redeneercapaciteiten.
Validatie over Domeinen: De methode is succesvol getest op wiskundig redeneren, codegeneratie en common-sense redeneren.

4. Resultaten

Prestaties: Op de DeepSeekMath-7B backbone bereikte CRPS-30K een gemiddelde nauwkeurigheid van 50,4%, wat hoger is dan RFT-590K (48,3%) en DART-Math-590K (49,4%).
Generalisatie: Op Out-of-Domain benchmarks (zoals TheoremQA en OlympiadBench) presteerde CRPS significant beter dan methoden die zich richten op lokale correcties (zoals SIGMA). CRPS leert abstracte probleemoplossingsstructuren in plaats van alleen specifieke fouten te patchen.
Architectonische Robuustheid: De verbeteringen waren consistent over verschillende basismodellen (DeepSeek, LLaMA-3, Mistral), wat aantoont dat de methode onafhankelijk is van het specifieke model.
Semantische Stabiliteit: Modellen getraind met CRPS waren beter bestand tegen semantische verstoringen (parafrafering en afleidingen) dan baselines, wat wijst op een dieper begrip van de onderliggende logica in plaats van oppervlakkige patroonherkenning.

5. Betekenis en Conclusie

Dit paper biedt een paradigmaverschuiving in hoe we trainingsdata voor redenerende modellen genereren. Het toont aan dat kwaliteit en strategische dichtheid van data belangrijker zijn dan pure schaal.

Van Filteren naar Synthetiseren: Door te leren van de contrasten tussen succes en falen, kunnen we compactere, informatieverrijkte datasets creëren die de "rekenkracht" van enorme datasets overbodig maken.
Kostenbesparing: Hoewel de synthese van CRPS data meer rekenkracht vereist in de voorfase (MCTS + Analyst), reduceert het de trainingskosten voor het doelmodel drastisch (van 192 GPU-uren naar 10 GPU-uren voor een vergelijkbaar resultaat).
Toekomst: De methode opent de deur voor het integreren van contrastieve signalen in online versterkend leren (RL) en het uitbreiden naar multimodale taken.

Kortom, CRPS bewijst dat het expliciet leren van waarom iets fout gaat, net zo belangrijk is als het leren van wat goed is, en dit leidt tot efficiëntere en slimmere AI-systemen.