Recursive Concept Evolution for Compositional Reasoning in Large Language Models

Probleemstelling

Grote Taalmodellen (LLM's) presteren uitstekend op veel complexe redeneertaken, maar hun nauwkeurigheid daalt scherp bij taken die compositional reasoning (samengesteld redeneren) vereisen, zoals ARC-AGI-2, GPQA, MATH en BBH. De kern van dit probleem is architectonisch:

• Vaste Latente Geometrie: De verborgen staten van een transformer bevinden zich in een ruimte met een vaste dimensie, waarvan de betekenisvolle richtingen tijdens het vooraf trainen (pretraining) zijn bepaald.
• Gebrek aan Abstractie: Als een taak vereist dat het model nieuwe abstracties vormt die niet in deze vooraf getrainde ruimte zijn gecodeerd, faalt het model. Het probeert dan te interpoleren tussen bestaande patronen, wat leidt tot plausibele maar structureel incorrecte antwoorden.
• Beperking van Bestaande Methoden: Methodes zoals Chain-of-Thought (CoT), Tree-of-Thought (ToT) en Reinforcement Learning (zoals GRPO) optimaliseren de trajecten van gegenereerde tokens binnen de bestaande ruimte, maar veranderen de ruimte zelf niet. Ze zoeken grondiger met de verkeerde kaart.

Methodologie: Recursive Concept Evolution (RCE)

Het paper introduceert Recursive Concept Evolution (RCE), een raamwerk dat het vooraf getrainde model de mogelijkheid geeft om zijn interne representatiegeometrie dynamisch te wijzigen tijdens de inferentie, zonder de basisgewichten van het model aan te passen.

Kerncomponenten:

1. Concept Subspaces: RCE onderhoudt een bibliotheek van "concept subspaces", elk gedefinieerd door een laag-rang basismatrix $B_i$ (dimensie $d \times r$, waarbij $r \ll d$) en een gating-functie $g_i(x)$. Deze injecteren updates in de residustroom op een specifieke decoderlaag:
   $$h' = h + \sum_{i \in A(x)} g_i(x) B_i B_i^\top h$$
   Hierbij is $A(x)$ de set van actieve concepten.

2. Evolutiecyclus (Vier Mechanismen):

   • Spawn (Aanmaak): Wanneer het model een "faalscore" detecteert (hoge voorspellingsentropie en lage marge tussen tokens), wordt een generator (een kleine MLP) geactiveerd om nieuwe kandidaat-subspaces te synthetiseren die specifiek zijn voor de huidige representatieve tekortkoming.
   • Selectie (MDL-criterium): Niet alle kandidaten worden geaccepteerd. Een concept wordt alleen toegevoegd als het de taakrepresentatie meer comprimeert dan dat het de complexiteit van de bibliotheek verhoogt, gebaseerd op het Minimum Description Length (MDL) principe. Dit voorkomt overfitting.
   • Merging (Samenvoegen): Concepten die consistent samen worden geactiveerd en een synergie-effect hebben (de gezamenlijke bijdrage is groter dan de som der delen), worden samengevoegd tot hogere-orde abstracties via truncated SVD. Dit bouwt een hiërarchie op.
   • Crystallization (Kristallisatie): Concepten die stabiel blijven en nuttig zijn, worden "gecrystalliseerd" (bijv. via checkpointing of distillatie naar LoRA-adapters) om cumulatieve kennis over sessies heen te behouden.

3. Regularisatie: Om degeneratie te voorkomen, worden orthogonaliteitsstraffen (tussen concepten), overlapstraffen (binnen concepten) en entropiestrafen voor de gating gebruikt. Dit zorgt voor een compacte, diverse bibliotheek.

Belangrijkste Bijdragen

1. Architecturale Innovatie: Het formaliseert dat dynamische representatie-evolutie een ontbrekende schakel is voor compositional reasoning, in tegenstelling tot de huidige focus op token-level trajectoptimalisatie.
2. Het RCE-raamwerk: Een systeem dat inferentie-tijd concept-spawning, compressie-gestuurde selectie, hiërarchische samenvoeging en stabiele consolidatie mogelijk maakt binnen een bevroren model.
3. Empirische Validatie: Integratie met Mistral-7B en demonstratie van consistente verbeteringen op vijf complexe benchmarks, met een zeer lage rekenkosten-overhead.

Resultaten

RCE werd geëvalueerd op Mistral-7B, Llama-3-8B en Qwen-2.5-14B. De resultaten tonen significante verbeteringen ten opzichte van state-of-the-art baselines (CoT, Self-Consistency, ToT, GRPO, DisCO):

• Prestatieverbetering:
  • ARC-AGI-2: +12 tot +18 punten (van 12.4% naar 28.0% op Mistral-7B).
  • GPQA & BBH: Respectievelijk +8-14 en +5-7 punten verbetering.
  • MATH & HLE: Consistente reductie van fouten die gerelateerd zijn aan de diepte van het redeneren.
• Robuustheid: RCE behoudt >91% van zijn nauwkeurigheid onder distributieveranderingen (kleur-permutatie, rotatie, distractors), terwijl baselines sterk dalen (68-80%). Dit bewijst dat RCE structurele invarianties leert in plaats van oppervlakkige cues.
• Efficiëntie: RCE voegt slechts 4% rekenkosten toe (1.04x t.o.v. basismodel). Methoden zoals Self-Consistency of ToT vereisen 16x tot 25x meer rekenkracht voor inferieure resultaten.
• Bibliotheek-analyse: Na training stabiliseert de bibliotheek op ongeveer 47 concepten, met een duidelijke hiërarchie van primitieve concepten naar samengestelde strategieën en domein-generieke tools.

Betekenis en Conclusie

Dit paper stelt een fundamentele verschuiving voor in hoe we redeneren in LLM's benaderen:

• Van Trajectoptimalisatie (meer tokens genereren binnen een vaste ruimte) naar Representatieadaptatie (de ruimte zelf uitbreiden).
• RCE imiteert een aspect van menselijke cognitieve flexibiliteit: het vermogen om nieuwe conceptuele hulpmiddelen te "uitvinden" wanneer bestaande onvoldoende blijken.
• Het bewijst dat het doorbreken van het "compositional reasoning plafond" mogelijk is zonder het model opnieuw te trainen, maar door een dynamisch, evoluerend systeem van laag-rang subspaces toe te voegen. Dit opent de weg voor systemen waarvan de redeneercapaciteit cumulatief groeit door ervaring, in plaats van beperkt te blijven door de vooraf getrainde representaties.