Technische Samenvatting: Vision-EKIPL

Probleemstelling

Visueel redeneren is een kritieke cognitieve vaardigheid voor Artificial General Intelligence, essentieel voor toepassingen variërend van autonoom navigeren tot scene-interpretatie. Hoewel Multimodale Grootte Taalmodellen (MLLM's) vooruitgang hebben geboekt door middel van Supervised Fine-Tuning (SFT) en Reinforcement Learning (RL), lopen huidige op RL gebaseerde benaderingen (bijvoorbeeld Group Relative Policy Optimization of GRPO) tegen aanzienlijke beperkingen aan. Specifiek bemonsteren deze methoden actiegroepen uitsluitend vanuit het beleidsmodel zelf. Deze zelfreferentiële bemonstering beperkt de verkenningsruimte van het model tot zijn eigen inherente capaciteiten, wat potentieel leidt tot een "redeneergrens" die niet verder reikt dan het vooraf getrainde fundamentele model. Bovendien lijden bestaande RL-methoden vaak aan trage convergentiesnelheden en lage trainingsefficiëntie, omdat ze afhankelijk zijn van het model om complexe redeneerpaden te ontdekken zonder externe begeleiding.

Methodologie: Vision-EKIPL

Om deze beperkingen aan te pakken, stellen de auteurs Vision-EKIPL (External Knowledge-Infused Policy Learning) voor, een nieuw RL-kader dat hoogwaardige acties van externe hulpmodellen integreert in het optimalisatieproces van het beleid.

Kernkader

Het kader werkt volgens het principe van het injecteren van externe kennis tijdens de RL-traininglus om het beleidsmodel ($\pi_\theta$) te sturen. Het proces omvat de volgende stappen:

1. Multi-bron Actiebemonstering:
   In tegenstelling tot traditionele GRPO, dat alleen acties bemonstert vanuit het huidige beleid, bemonstert Vision-EKIPL een gecombineerde actiegroep $O$ uit:

   • Het huidige beleidsmodel $\pi_\theta$.
   • $M$ externe hulpmodellen (bijvoorbeeld GPT-4o, Gemini-1.5-Pro), aangeduid als $\pi_{\phi_j}$.

   Voor een gegeven toestand $s = (x, q)$ (visuele codering en vraag) bemonstert het systeem $N$ acties vanuit het beleid en $N$ acties vanuit elk van de $M$ hulpmodellen.

2. Beloningsberekening:
   Alle bemonsterde acties worden geëvalueerd met behulp van een beloningsfunctie $R(o_i)$ die twee componenten omvat:

   • Formaatbeloning ($R_{format}$): Zorgt ervoor dat de output voldoet aan een gestructureerd formaat (bijvoorbeeld redenering binnen <thought>-tags en antwoorden binnen <answer>-tags).
   • Nauwkeurigheidsbeloning ($R_{acc}$): Toekennen van een positieve beloning als het uiteindelijke antwoord correct is, anders nul.

3. Selectie van Hoogwaardige Acties:
   De gecombineerde voorraad acties wordt gesorteerd op beloningswaarden. De top-$G$ acties worden geselecteerd om een hoogwaardige actiegroep $T$ te vormen. Deze groep dient als de "expert" kennisbron voor de huidige trainingsstap.

4. Beleidsoptimalisatie (GRPO):
   Het beleidsmodel wordt bijgewerkt met behulp van het Group Relative Policy Optimization (GRPO)-algoritme. De voordeelsscore $A_i$ voor elke actie in de geselecteerde groep wordt berekend ten opzichte van het gemiddelde en de standaardafwijking van de beloningen van de groep. De beleidsparameters $\theta$ worden bijgewerkt om de verwachte voordeel te maximaliseren, terwijl een KL-divergentie-boete wordt gehandhaafd om dicht bij een referentieverdeling te blijven.

Dynamische Evolutie

Het artikel merkt een dynamische verschuiving op in de bron van acties tijdens de training. Initieel is het beleidsmodel sterk afhankelijk van acties van externe modellen omdat zijn eigen redeneercapaciteiten zwakker zijn. Naarmate de training vordert en het beleidsmodel verbetert, neemt het aandeel van acties dat uit het beleidsmodel zelf wordt geselecteerd toe, waardoor het zijn eigen geleerde strategieën kan benutten terwijl het nog steeds profiteert van de initiële externe begeleiding.

Belangrijkste Bijdragen

1. Nieuw RL-kader: Het voorstellen van Vision-EKIPL, de eerste methode die gebruikmaakt van hoogwaardige acties van externe hulpmodellen om de optimalisatie van beleidsmodellen bij visueel redeneren te sturen.
2. Uitgebreide Redeneergrens: Aantonen dat het integreren van externe acties effectief de verkenningsruimte voor acties van het beleidsmodel verbreedt, waardoor het redeneerpaden kan ontdekken die een enkel beleidsmodel zou kunnen over het hoofd zien, en zo de redeneergrens uitbreidt.
3. Verbeterde Efficiëntie en Prestaties: Validatie door middel van uitgebreide experimenten dat het kader de trainingconvergentie aanzienlijk versnelt en de algehele redeneerprestaties verbetert in vergelijking met state-of-the-art baselines.

Experimentele Resultaten

De auteurs hebben Vision-EKIPL geëvalueerd op de Reason-RFT-CoT Benchmark, die drie taakcategorieën omvat: Visueel Tellen, Structuurperceptie en Ruimtelijke Transformatie.

• Prestatiewinst: Vision-EKIPL behaalde tot een 5% prestatieverbetering ten opzichte van state-of-the-art (SOTA) methoden op de benchmark.
• In-Domein (ID) Resultaten:
  • Bij Visueel Tellen presteerden RL-gebaseerde methoden (inclusief Vision-EKIPL) consistent beter dan SFT-gebaseerde methoden en basismodellen over schalen van 2B en 7B parameters.
  • Bij Ruimtelijke Transformatie behaalde Vision-EKIPL de hoogste prestaties, alle basismodellen overtreffend, inclusief propriëtaire modellen zoals GPT-4o en Gemini-1.5-Pro op specifieke out-of-domain generalisatiemetingen.
• Out-of-Domain (OOD) Generalisatie:
  • Vision-EKIPL toonde superieure generalisatie in vergelijking met SFT-methoden. Bijvoorbeeld, op het 7B-model presteerde het 19% beter dan ANS-SFT bij Visueel Tellen.
  • Bij Ruimtelijke Transformatie overtrof het 2B Vision-EKIPL-model GPT-4o met 34% en Gemini-1.5-Pro met 47% op OOD-taken.
• Trainingsefficiëntie:
  • Vision-EKIPL toonde hoge data-efficiëntie, waarbij het de prestaties van Reason-RFT bereikte met slechts 12% tot 25% van de trainingsdata die door de baseline vereist werd.
• Analyse van de Redeneergrens:
  • Pass@K-analyse onthulde dat terwijl traditionele RL (Reason-RFT) uiteindelijk achterbleef bij het basismodel naarmate $K$ toenam (wat wijst op overexploitatie van bekende paden), Vision-EKIPL op alle $K$-waarden superieure prestaties handhaafde, wat zijn vermogen bevestigt om de redeneerfrontier te verleggen.

Betekenis en Claims

Het artikel beweert dat Vision-EKIPL een nieuw effectief paradigma biedt voor onderzoek naar visueel redeneren door de inherente beperkingen van traditionele RL-methoden te overwinnen. Door externe modellen te behandelen als "experts" die gedistilleerde supervisiedoelen leveren, stelt het kader het beleidsmodel in staat om diverse en nieuwe redeneerstrategieën te leren die anders ontoegankelijk zouden zijn via zelfbemonstering alleen.

De auteurs positioneren deze aanpak als een hybride paradigma dat elementen combineert van supervised fine-tuning (via kennisdistillatie van externe acties) en reinforcement learning. Zij stellen dat deze methode niet alleen de prestaties van visueel redeneren van MLLM's aanzienlijk verbetert, maar ook de trainingconvergentie substantieel versnelt. Hoewel de primaire validatie plaatsvindt op taken voor visueel redeneren, suggereren de auteurs dat het kader algemeen toepasbaar is en theoretisch kan worden toegepast op linguïstische en andere multimodale taken.