Technische Samenvatting: Synergie tussen Systeem 1 & 2 via Dynamische Modelinterpolatie

Probleemstelling

Grote taalmodellen (LLM's) vertonen een functionele dichotomie tussen "Systeem 1" (intuïtief, snel, beknopt) en "Systeem 2" (deliberatief, traag, redeneerintensief) cognitieve modi. Terwijl Systeem 2-modellen (bijv. o1, DeepSeek-R1) superieure nauwkeurigheid bereiken op complexe taken door uitgebreide Chain-of-Thought (CoT), lijden ze aan hoge computationele kosten en verbloemde outputs. Daarentegen zijn Systeem 1-modellen efficiënt, maar missen ze diepe redeneercapaciteiten.

Huidig onderzoek probeert deze modi te verenigen of de efficiëntie van Systeem 2 te optimaliseren, voornamelijk via outputcontrole. Deze methoden beperken wat modellen produceren door tokenbudgetten te beperken, early-exit-mechanismen toe te passen of CoT te comprimeren. De auteurs stellen dat dit paradigma niet goed is afgestemd: de outputlengte is een symptoom van de cognitieve configuratie, niet de kernoorzaak van inefficiëntie. Bovendien blijft het trainen van een enkel verenigd model dat naadloos tussen deze modi kan schakelen een uitdaging vanwege de "zero-sum natuur" van trainingsdata, waarbij de verbloemde stijl van Systeem 2 conflicteert met de beknoptheid van Systeem 1, wat leidt tot wederzijdse interferentie tijdens gezamenlijke optimalisatie.

Methodologie: DAMI (DynAmic Model Interpolation)

Het paper stelt een paradigmaverschuiving voor van outputcontrole naar capaciteitscontrole, waarbij wordt gemoduleerd hoe modellen denken in plaats van wat ze produceren. Dit wordt bereikt door Dynamische Modelinterpolatie, waarbij gebruik wordt gemaakt van bestaande Systeem 1 (Instruct) en Systeem 2 (Thinking) checkpoints zonder extra training van de basismodellen.

1. Theoretische Fundering

De auteurs stellen vast dat lineaire parameterinterpolatie tussen Instruct ($\Theta^{(I)}$) en Thinking ($\Theta^{(T)}$) modellen voorspelbaar gedrag oplevert, gebaseerd op drie empirische en theoretische bevindingen:

• Prestatie-monotoniciteit: Het verhogen van de interpolatiecoëfficiënt $\lambda$ (waarbij $\lambda=0$ Instruct is en $\lambda=1$ Thinking) produceert een gladde, convexe Pareto-front tussen nauwkeurigheid en efficiëntie. Intermediaire modellen presteren vaak beter dan beide eindpunten, waarbij ze een hogere nauwkeurigheid bereiken dan Instruct met minder tokens dan Thinking.
• Representatie-continuïteit: Principal Component Analysis (PCA) laat zien dat geïnterpoleerde modellen een continue traject vormen in de representatieruimte, waarbij de eerste hoofdcomponent sterk correleert met $\lambda$ ($r=0.974$).
• Structurele Connectiviteit: De Instruct- en Thinking-modellen vertonen een hoge cosinusgelijkenis (>0.99) over alle transformer-lagen, wat voldoet aan Linear Mode Connectivity (LMC). Dit geeft aan dat beide modellen zich binnen hetzelfde optimalisatiebekken bevinden, wat garandeert dat het interpolatiepad hoog-verliesregio's vermijdt.

2. Het DAMI-framework

De kerninnovatie is DAMI, dat dynamisch een query-specifieke Redeneerintensiteit $\lambda(q) \in [0, 1]$ schat om de cognitieve diepte van het model voor elke input te configureren:
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

Er worden twee complementaire methoden voorgesteld voor het schatten van $\lambda(q)$:

• DAMI-Pref (Op training gebaseerd): Ontworpen voor scenario's met in-domain trainingsdata. Het formuleert de schatting van $\lambda$ als een preference learning probleem in plaats van regressie. Een lichtgewicht beloningsmodel wordt getraind om paren van interpolatiecoëfficiënten te scoren op basis van een hiërarchisch criterium: geef prioriteit aan nauwkeurigheid, en gebruik vervolgens efficiëntie (tokenaantal) als tiebreaker. Deze aanpak is robuust tegen labelruis en vereist minder data dan regressiegebaseerde methoden.
• DAMI-Conf (Vrij van training): Ontworpen voor zero-shot implementatie. Het schat $\lambda(q)$ met behulp van intrinsieke vertrouwenssignalen van de basismodellen. Het combineert twee signalen:
  1. Holistische Ambiguïteit: Meet de algehele systeemonzekerheid (lage vertrouwensgraad in beide modellen impliceert hoge moeilijkheidsgraad).
  2. Cognitieve Discrepantie: Meet de onovereenstemming in vertrouwen tussen de Instruct- en Thinking-modellen (hoge discrepantie impliceert dat de query verschillende strategieën vereist).
     Deze signalen worden gefuseerd en door een gekalibreerde sigmoidfunctie geleid om $\lambda(q)$ te bepalen.

Belangrijkste Bijdragen

1. Paradigmaverschuiving: Het paper pleit voor een verschuiving van outputcontrole (het beperken van generatie) naar capaciteitscontrole (het moduleren van de cognitieve configuratie via parameterinterpolatie).
2. DAMI-framework: Een nieuw framework dat een query-adaptieve redeneerintensiteit mogelijk maakt zonder een verenigd model vanaf nul te trainen, door gebruik te maken van bestaande checkpoints.
3. Duale Schattingsstrategieën: De introductie van DAMI-Pref (gebaseerd op voorkeuren) en DAMI-Conf (gebaseerd op vertrouwen) om verschillende implementatiebeperkingen aan te pakken (beschikbaarheid van data versus zero-shot behoeften).
4. Theoretische Validatie: Formele bewijzen en empirisch bewijs dat lineaire interpolatie tussen co-originele modellen voldoet aan LMC, wat zorgt voor geldige, monotone en continue transities in prestaties en representatie.

Experimentele Resultaten

De auteurs evalueerden DAMI op vijf wiskundige redeneerbenchmarks (GSM8K, MATH-500, AMC, AIME 2024/25) met behulp van twee modelfamilies (Qwen3-4B en DeepSeek-R1/Qwen2.5-7B).

• Prestatie vs. Efficiëntie: DAMI vestigt consistent superieure Pareto-fronten vergeleken met statische merging, early-exit (DEER) en routing-baselines.
  • Op Qwen3-4B bereikte DAMI-Pref een nauwkeurigheid van 91,6% (een absolute winst van +3,4% ten opzichte van het Thinking-model) terwijl het tokenverbruik met 29% werd verminderd.
  • DAMI-Conf verminderde het tokenverbruik met 40% terwijl het een nauwkeurigheid van 90,7% behield (+2,5% ten opzichte van Thinking).
• Adaptief Gedrag: De "Thinking Ratio" (percentage queries dat diep redeneren triggert) past zich aan de moeilijkheidsgraad aan. Voor eenvoudige taken (GSM8K) activeert DAMI diep nadenken voor slechts ~25-41% van de queries, terwijl dit voor complexe taken (AIME) stijgt naar 79-95%.
• Multimodale Generalisatie: Het framework werd getest op multimodale taken (video- en beeld-tekstredeneren) met behulp van Qwen3-VL-8B. DAMI-Conf presteerde beter dan de baselines, met een absolute verbetering van 2,5% in video-begrip en 1,6% in beeld-tekst-redeneren.
• Casestudy: In een geometrieprobleem genereerde het Thinking-model 2.846 tokens met redundante verificatie. DAMI genereerde een correcte oplossing in 351 tokens door het probleem direct te formuleren en te berekenen, wat aantoont dat capaciteitscontrole inherent efficiënt redeneren produceert in plaats van afgekapte output.

Betekenis en Claims

Het paper claimt dat de dichotomie tussen snel en langzaam denken geen binaire keuze hoeft te zijn die tijdens de training wordt opgelost. Door vast te stellen dat redeneerdiepte bestaat op een gladde spectrum dat toegankelijk is via eenvoudige lineaire operaties in de parameterruimte, biedt DAMI een flexibele cognitieve architectuur.

De auteurs benadrukken dat hun aanpak de moeilijkheid van het trainen van verenigde Systeem 1/2-modellen omzeilt en de prestatieverslechtering vermijdt die gepaard gaat met output-beperkende methoden (die het risico lopen redeneerketens af te korten). In plaats daarvan bereikt DAMI een "sweet spot" door de cognitieve diepte van het model dynamisch te configureren, waardoor de efficiëntie van Systeem 1 effectief wordt gecombineerd met de redeneerdiepte van Systeem 2. Het werk suggereert dat de allocatie van redeneerbronnen kan worden behandeld als een goed gestructureerd voorspellingsprobleem, waarbij het schatten van de optimale $\lambda(q)$ direct het gedrag van het model bepaalt.