Adaptive Multi-Expert Reasoning via Difficulty-Aware Routing and Uncertainty-Guided Aggregation

Dit paper introduceert AMR, een framework dat wiskundig redeneren verbetert door dynamische strategieën te gebruiken die gebaseerd zijn op probleemcomplexiteit en onzekerheid, waardoor een 7B-model zonder synthetische data 75,28% nauwkeurigheid bereikt op de GSM8K-dataset.

De kern

Stel je voor dat je een groep slimme vrienden hebt die samen wiskundepuzzels oplossen. Soms is de puzzel makkelijk, zoals "2 + 2". Soms is het een ingewikkelde raadsel dat uren duurt om op te lossen.

In het verleden probeerden deze vrienden (de kunstmatige intelligentie-modellen) elke puzzel op precies dezelfde manier op te lossen: ze dachten hard na, schreven alles op en hoopten dat het goed kwam. Maar dat werkte niet altijd. Bij moeilijke puzzels raakten ze in de war, en bij makkelijke puzzels dachten ze soms te veel na.

Dit paper introduceert een nieuwe, slimmere manier van werken genaamd AMR (Adaptive Multi-Expert Reasoning). Het is alsof je een super-georganiseerd team opricht met een slimme aanstichter. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme Aanstichter (De Router)

Stel je voor dat er een manager is die naar elke nieuwe puzzel kijkt voordat het team aan de slag gaat.

• Hoeveel moeite kost het? De manager schat direct of de puzzel makkelijk of moeilijk is.
• Hoe zeker is hij? Hij kijkt ook naar zijn eigen gevoel: "Ben ik er wel zeker van dat ik dit goed heb ingeschat?"
• Het resultaat: Als de puzzel makkelijk is en hij is zeker, stuurt hij het naar één vriend om snel op te lossen. Als de puzzel moeilijk is of hij twijfelt, zegt hij: "Oké, dit is lastig! Laten we niet één, maar drie verschillende vrienden het laten proberen, en laten we ze zelfs twee keer laten nadenken."

2. De Drie Gespecialiseerde Vrienden (De Experts)

In plaats van dat iedereen hetzelfde doet, heeft het team drie vrienden met een heel eigen stijl:

• De Wiskundige: Die houdt van formules en strakke vergelijkingen.
• De Intuïtieve: Die rekent met zijn hoofd en gebruikt alledaagse taal.
• De Stap-voor-Stap Denker: Die schrijft alles heel netjes en gedetailleerd op, regel voor regel.

Door deze verschillende stijlen te gebruiken, krijgen ze een breder scala aan antwoorden. Als één vriend vastloopt, heeft de ander misschien een andere invalshoek.

3. De Correctie-ronde (Het "Nog Even Nadenken")

Soms maakt een vriend een kleine fout in de eerste versie van zijn antwoord. Het team laat die vriend dan zijn eigen werk controleren en de fout corrigeren. Daarna maakt hij een korte, duidelijke samenvatting van het eindantwoord. Dit zorgt ervoor dat het antwoord niet alleen correct is, maar ook duidelijk leesbaar.

4. De Jury (De Verifier)

Nu hebben ze een hoop verschillende antwoorden. Wie heeft het gelijk?
Er is een speciale "jurylid" (een computerprogramma) die elk antwoord bekijkt. Deze jury kijkt niet alleen of het antwoord klopt, maar ook of de redenering logisch is. Hij geeft elk antwoord een score: "Dit is waarschijnlijk goed" of "Dit is waarschijnlijk fout".

5. De Groepsbeslissing (Aggregatie)

Tot slot komen ze bij elkaar om het beste antwoord te kiezen. Ze doen dit niet zomaar, maar via een slim systeem:

• Ze groeperen alle antwoorden die op hetzelfde getal uitkomen.
• Ze kijken naar de score van de jury.
• Ze kijken of meerdere vrienden op hetzelfde antwoord uitkwamen (consensus).
• Ze kiezen het antwoord dat het beste scoort op alle punten: zekerheid, kwaliteit en overeenstemming.

Waarom is dit zo speciaal?

De meeste andere slimme systemen proberen beter te worden door meer data te eten (duizenden extra wiskundepuzzels maken met computers) of door gigantisch grote hersenen te bouwen (enorme modellen).

Dit team (AMR) doet het anders:

• Ze gebruiken geen extra, kunstmatige data. Ze werken alleen met de originele puzzels die ze al kenden.
• Ze gebruiken een kleiner model (zoals een slimme 7-jarige in plaats van een 70-jarige).
• Ze winnen toch! Ze behaalden 75,28% correcte antwoorden. Dat is beter dan veel veel grotere systemen die wel duizenden extra puzzels hebben geoefend.

De moraal:
Het is niet altijd nodig om harder te werken of meer te eten om slimmer te worden. Soms is het beter om slimmer te plannen: te weten wanneer je hulp nodig hebt, verschillende stijlen te gebruiken, en samen het beste antwoord te kiezen. Dit paper laat zien dat een slimme aanpak tijdens het "oplossen" (inference) net zo belangrijk kan zijn als het hebben van een enorme hoeveelheid training.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLM's) presteren over het algemeen goed op wiskundige redeneerbenchmarks zoals GSM8K, maar hun prestaties zijn inconsistent en variëren sterk afhankelijk van de moeilijkheidsgraad van het probleem. Bestaande aanpakken, zoals uniforme prompting of statische ensemble-middelen, missen flexibiliteit omdat ze geen rekening houden met:

1. De noodzaak van meerdere redeneerstijlen voor verschillende problemen.
2. De variatie in onderliggende complexiteit van problemen.
   Bovendien zijn veel huidige methoden afhankelijk van enorme hoeveelheden synthetische trainingsdata of zeer grote modelgroottes om goede prestaties te behalen, wat de data-efficiëntie en schaalbaarheid beperkt.

Methodologie: AMR Framework

De auteurs presenteren AMR (Adaptive Multi-Expert Reasoning), een framework dat redeneert door dynamisch aangepaste strategieën toe te passen op basis van de complexiteit van het probleem. Het systeem bestaat uit vier hoofdcomponenten:

1. Moeilijkheidsbewuste Routering (Difficulty-Aware Router)

• De router voorspelt de moeilijkheidsgraad en de onzekerheid van een probleem op basis van de probleemtekst (tijdens inferentie).
• Er wordt een hybride onzekerheidsmaatstaf gebruikt die Shannon-entropie en de marge tussen klassen combineert: $U(x) = \frac{1}{2}H(p(x)) + \frac{1}{2}(1 - 2|p_{hard}(x) - 0.5|)$.
• Op basis van deze onzekerheid wordt de generatiediversiteit dynamisch aangepast:
  • Lage onzekerheid: Deterministische generatie.
  • Gemiddelde onzekerheid: Één kandidaat per expert met lage temperatuur.
  • Hoge onzekerheid: Twee kandidaten per expert met verschillende temperaturen (0.0 en 0.15) om meer diversiteit te creëren.

2. Multi-Expert Redenering

• Het systeem gebruikt drie gespecialiseerde experts (gebaseerd op LoRA-adaptaties) met verschillende redeneerstijlen:
  • Algebraïsch: Gebaseerd op vergelijkingen.
  • Intuïtief: Mentale wiskunde en natuurlijke taal.
  • Stap-voor-stap: Gedetailleerde, gestructureerde afleidingen.
• Correctie- en Finalisatie-fasen:
  • Correction pass: De stap-voor-stap expert probeert de eerste fout in de beste kandidaten te corrigeren (vergelijkbaar met Self-Refine).
  • Finalizer pass: De stap-voor-stap expert produceert een korte, hoge-kwaliteit oplossing.

3. Neuraal Verifier

• Een binaire classifier (DeBERTa-v3) die is getraind op probleem-oplossingsparen.
• Deze beoordeelt de correctheid van kandidaat-antwoorden en kent een score toe tussen 0 en 1 die de waarschijnlijkheid van correctheid weergeeft.

4. Clustering-gebaseerde Aggregatie

• Alle kandidaten worden gescoord en gegroepeerd op basis van het geëxtraheerde numerieke antwoord.
• De score van een kandidaat is een gewogen som van: verifier-score, voltooiing (structuur), kwaliteit (coherentie) en bron (bonus voor correctie/finalisatie).
• De uiteindelijke cluster-score combineert de maximale score in de cluster, de gemiddelde score, en consensus-maatstaven (aantal experts dat voor dat antwoord koos).
• Het beste antwoord wordt geselecteerd uit de best scorende cluster.

Belangrijkste Bijdragen

1. Dynamische Routering: Implementatie van een mechanisme dat gevoelig is voor moeilijkheid en onzekerheid, wat direct het aantal en de variatie van redeneerbenaderingen regelt.
2. Multi-Expert Architectuur: Een framework met stijl-gespecialiseerde LoRA-experts, aangevuld met correctie- en finalisatiestappen om fouten te verhelpen en de output te verfijnen.
3. Geavanceerde Aggregatie: Een clustering-methode die verifier-vertrouwen, antwoordkwaliteit en expert-consensus combineert voor een betrouwbare eindselectie.
4. Data-efficiëntie: Het behalen van sterke prestaties uitsluitend met de originele trainingsdata, zonder afhankelijkheid van uitgebreide synthetische data-augmentatie.

Resultaten

Het model is geëvalueerd op de GSM8K-testset (1.319 voorbeelden):

• Totale Accuratie: 75,28%.
• Prestatie per moeilijkheid:
  • Voorspelde "Eenvoudige" problemen: 82,6% accuraat.
  • Voorspelde "Moeilijke" problemen: 64,1% accuraat (een aanzienlijke verbetering ten opzichte van deterministische runs).
• Vergelijking: AMR presteert beter dan de meeste vergelijkbare 7B-modellen (zoals MetaMath, WizardMath, ToRA) die zijn getraind op grote hoeveelheden synthetische data. Het komt zelfs in de buurt van prestaties van 13B-modellen, terwijl het slechts een 7B-model (Qwen2.5-Math) gebruikt zonder extra synthetische data.

Betekenis en Conclusie

De paper toont aan dat slimme inferentie-tijd strategieën (zoals difficulty-aware routing en uncertainty-guided aggregation) net zo belangrijk kunnen zijn als data-augmentatie.

• Robuustheid: Hoewel AMR niet expliciet is getest op de GSM-PLUS benchmark (die bekend staat om zijn distributieveranderingen), suggereert de diversiteit-gedreven inferentie en het gebruik van meerdere experts dat het model beter bestand zou zijn tegen variaties in probleemcontext.
• Efficiëntie: Het bewijst dat het mogelijk is om hoge prestaties te behalen zonder de kosten en het rekenvermogen van het trainen op miljoenen synthetische voorbeelden of het gebruik van enorme modelgroottes.
• Toekomstperspectief: De auteurs plannen om het framework uit te breiden naar andere benchmarks (zoals MATH en SVAMP) en de robuustheid te testen op verstoorde datasets zoals GSM-PLUS.

Kortom, AMR biedt een efficiënt en effectief alternatief voor de huidige trend van "groter en meer data", door te focussen op adaptieve besluitvorming tijdens de inferentie.