Technische Samenvatting: AIR: Adaptive Interleaved Reasoning with Code in Multimodale Large Language Models

Probleemstelling

Hoewel recente ontwikkelingen in Multimodale Large Language Models (MLLM's) Reinforcement Learning from Verifiable Rewards (RLVR) hebben geïntegreerd om redeneervermogen te verbeteren, richten bestaande paradigma's zich primair op het gebruik van tools voor visuele perceptie-taken (bijv. rotatie, zoomen). Deze benaderingen vertrouwen op vooraf gedefinieerde heuristieken voor visuele manipulatie en falen bij complexe numerieke berekeningsproblemen. Huidige MLLM's missen vaak het vermogen om autonoom Python-scripts te triggeren tijdens tekstuele redenering om complexe wiskundige taken af te handelen, een capaciteit die essentieel is om de kloof tussen multimodale deliberatie en agentische uitvoering te overbruggen. Bov�aties leidt het trainen van modellen voor dergelijke adaptieve tool-aanroepen tot instabiliteit, inclusief modelinstorting, wanneer het gebruik van tools excessief of ongecontroleerd wordt.

Methodologie

Het artikel stelt AIR (Adaptive Interleaved Reasoning with Code) voor, een framework ontworpen om MLLM's te voorzien van adaptieve interleaved redeneercapaciteiten via een tweestaps-trainingsparadigma: Supervised Fine-Tuning (SFT) cold-start en Reinforcement Learning (RL) verbetering.

1. Tweestaps Cold-Start Data Constructie

Om de moeilijkheid van het activeren van interleaved redenering in kleinere open-source modellen te overwinnen, introduceren de auteurs een ontkoppelde, tweestaps data-synthesepipeline:

• Textual CoT Generation: Een MLLM genereert initiële tekstuele Chain-of-Thought (CoT) redeneerpaden voor complexe problemen.
• Interleaved Rewriting: Een LLM herschrijft deze paden door numerieke berekeningscomponenten te vervangen door uitvoerbare Python-codesnippets.
• Verificatie: De resulterende data ondergaat strikte verificatie in een sandbox-omgeving om de integriteit van de code-executie en de nauwkeurigheid van de resultaten te waarborgen voordat deze als cold-start data wordt gebruikt.

2. RL Data Filtering Strategieën

Om hoogwaardige trainingsdata te garanderen voor de RL-fase, worden twee verschillende filteringstrategieën toegepast:

• Self-Sampled Strategy: Maakt gebruik van een multi-turn consensusmechanisme waarbij de eigen roll-outs van het kandidaatmodel de geschiktheid bepalen op basis van de Pass@k-metriek. Dit maakt iteratieve herfiltering mogelijk naarmate het model verbetert.
• Prior-Filtered Strategy: Maakt gebruik van hoogwaardige "teacher"-modellen (bijv. GPT, Gemini) die fungeren als een externe kwaliteitscontrole, waarbij datastalen worden gelabeld op basis van de vraag of zij tool-aanroepen vereisen voor een effectieve oplossing.

3. Adaptieve Tool-Invocatie via Group-Constrained Reward

De kerninnovatie ligt in de RL-trainingsfase, die het Group Relative Policy Optimization (GRPO) algoritme gebruikt, versterkt met een group-constrained reward function.

• Hybride Reward Structuur: De totale beloning ($R$) combineert een Format Reward ($R_f$), een Accuracy Reward ($R_{acc}$) en een Code-Integrated Reward ($R_{code}$).
• Groep-constraints: In tegenstelling tot standaard GRPO, introduceert deze methode intra-groep constraints op de proportie van interleaved redeneersequenties. De beloning voor codegebruik ($R_{code}$) wordt aangepast op basis van de proportie van tool-calling sequenties binnen een groep, waarbij onderscheid wordt gemaakt tussen of de uiteindelijke antwoorden correct ($P_r$) of incorrect ($P_w$) zijn.
• Stabiliteitsmechanisme: Deze constraint voorkomt dat het model overmatig tools aanroept (wat leidt tot entropiepieken en traininginstorting) terwijl het adaptieve aanroepen aanmoedigt. Het ontkoppelt de code-beloning van de nauwkeurigheidsbeloning, in de erkenning dat toolgebruik een component is van de redeneerketen en niet de enige determinant van succes.

Belangrijkste Bijdragen

1. Tweestaps Data Constructie Methodologie: Een pipeline voor het synthetiseren van cold-start data die code-geaugmenteerde interleaved redenering ondersteunt, wat de drempel voor het genereren van hoogwaardige trainingspaden effectief verlaagt.
2. Data Filtering Strategieën: De voorstel van Self-Sampled en Prior-Filtered strategieën om interleaved redeneerdata te cureren, wat ruis vermindert en stabiele policy-optimalisatie waarborgt.
3. Adaptieve Tool-Invocatie Strategie: De ontwikkeling van een GRPO-variant met groep-constraints die modellen in staat stelt autonoom de noodzaak en timing van tool-calls te bepalen, terwijl de langetermijnstabiliteit van de training gewaarborgd blijft.

Experimentele Resultaten

Experimenten werden uitgevoerd met het Qwen2.5-VL-7B model over zes wiskundige redeneerbenchmarks (MathVista, MathVision, MathVerse, DynaMath, WeMath, LogicVista).

• Prestatiewinst: Na RL-training met de group-constrained reward behaalde het AIR-model een gemiddelde verbetering van 6,1 procentpunt (pp) over de benchmarks vergeleken met de baseline.
• Specifieke Verbeteringen: Opvallende winsten zijn +8,1 pp op MathVista, +7,7 pp op MathVerse, en +9,9 pp op WeMath.
• Interleaved Redeneernauwkeurigheid: De nauwkeurigheid specifiek voor interleaved redeneersamples nam toe met 9,9 pp.
• Tool-Use Succes: Het algemene succespercentage van toolgebruik overtrof de 95% over diverse tool-call ratio's.
• Stabiliteit: Het group-constrained mechanisme voorkwam succesvol traininginstorting, een veelvoorkomend probleem in Agentic RL waarbij excessief toolgebruik tot instabiliteit leidt.

Betekenis en Claims

Het artikel claimt dat AIR een belangrijke stap voorwaarts vertegenwoordigt in het in staat stellen van MLLM's om System 2 (slow thinking) redenering uit te voeren door autonoom gespecialiseerde tools te orkestreren voor computationeel zware taken. In tegen tegenstelling tot eerdere werken die gericht waren op visuele perceptie (System 1), adresseert AIR de kritieke kloof in complexe numerieke berekeningen.

De auteurs stellen dat hun aanpak een robuuste oplossing biedt voor complexe multimodale redenering door:

1. Het ontkoppelen van de generatie van redeneerpaden van de executie van code, wat zorgt voor een betrouwbaardere dataproductie.
2. Het stabiliseren van langdurige Agentic RL-training door middel van group-constrained rewards, wat modelinstorting voorkomt die geassocieerd wordt met ongecontroleerde tool-aanroepen.
3. Het demonstreren dat adaptieve tool-aanroepen, in plaats van vast of excessief gebruik, de sleutel is tot het verbeteren van prestaties op wiskundige benchmarks.

Het artikel sluit bescheiden af met de opmerking dat hoewel AIR sterke resultaten boekt, de prestaties begrensd blijven door de inherente codering- en perceptiecapaciteiten van het basismodel, en dat toekomstig werk de evaluatie moet uitbreiden voorbij wiskundige redenering naar domeinen zoals natuurkunde en financiën.