Can VLMs Reason Robustly? A Neuro-Symbolic Investigation

Dit artikel introduceert VLC, een neuro-symbolische methode die visuele conceptherkenning koppelt aan symbolische circuitredenering om robuustheid van visueel-taalmodellen onder covariatenverschuivingen te waarborgen, in tegenstelling tot traditionele eind-tot-eind training die faalt bij generalisatie.

De kern

Kunnen slimme computers echt nadenken? Een onderzoek naar visuele redenering

Stel je voor dat je een zeer slimme assistent hebt die foto's kan bekijken en vragen kan beantwoorden. Dit noemen we een VLM (Vision-Language Model). Deze modellen zijn geweldig in het herkennen van dingen: ze kunnen zien dat er een hond op een foto staat, of dat er een cijfer '7' op een bordje staat.

Maar de onderzoekers van dit paper stelden zich een lastige vraag: Kunnen deze modellen ook echt nadenken als de situatie verandert?

Het Probleem: De "Truc" van het Leren

Stel je voor dat je een kind leert optellen. Je laat het kind telkens twee getallen optellen die je op een bord schrijft. Als je alleen maar oefent met kleine getallen (bijvoorbeeld 2 + 3), leert het kind misschien niet de regel van optellen, maar onthoudt het alleen de specifieke voorbeelden.

Als je het kind dan plotseling vraagt om 200 + 300 op te tellen, faalt het. Het heeft de "truc" van het optellen niet echt begrepen; het heeft alleen de patronen van de kleine oefeningen onthouden.

Dit is wat er gebeurt met de huidige AI-modellen:

1. Ze worden getraind op een specifieke set foto's (bijvoorbeeld foto's met 3 cijfers).
2. Ze scoren perfect op die foto's.
3. Maar als je ze een foto geeft met 7 cijfers (een nieuwe situatie), zakken ze door de bodem. Ze hebben de onderliggende logica niet echt "geleerd", ze hebben alleen de statistieken van de training onthouden.

De Oplossing: Het "Neuro-Symbolische" Team

De onderzoekers bedachten een nieuwe aanpak, genaamd VLC. Ze vergelijken dit met het samenstellen van een perfect team voor een moeilijke klus, in plaats van één superheld te gebruiken die alles moet doen.

Het team bestaat uit twee personen:

1. De Waarnemer (De VLM):

   • Rol: Deze persoon is een expert in het kijken. Hij kijkt naar de foto en zegt: "Ik zie een rode cirkel, een blauwe vierkant en het cijfer 5."
   • Sterkte: Hij is fantastisch in het herkennen van objecten, zelfs als de foto er anders uitziet dan normaal.

2. De Logica-Meester (Het Circuit):

   • Rol: Dit is geen mens, maar een strikte, onfeilbare rekenmachine met een boekje met regels. Het boekje zegt bijvoorbeeld: "Als alle vormen hetzelfde zijn, dan is het antwoord 'Ja'."
   • Sterkte: Deze persoon maakt nooit fouten in de logica. Hij volgt de regels exact, net als een computerprogramma.

Hoe werkt het samen?
De Waarnemer kijkt naar de foto en vertelt de Logica-Meester wat hij ziet. De Logica-Meester pakt die informatie, leest zijn strikte regelsboekje en geeft het juiste antwoord. Omdat de regels in het boekje vaststaan, maakt het niet uit of de foto nu 3 of 7 objecten heeft; de logica blijft hetzelfde.

Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met drie soorten puzzels:

• Optellen: Twee rijen cijfers optellen.
• Logica (XOR): Een reeks enen en nullen door elkaar halen.
• Relaties: Kijken of alle vormen van dezelfde kleur zijn.

De resultaten waren duidelijk:

• De oude modellen (die alles zelf probeerden te leren) faalden volledig als de foto's veranderden. Ze probeerden te raden, maar wisten de regel niet.
• Andere moderne methoden (waarbij een AI een programma schrijft om de taak op te lossen) waren soms goed, maar vaak onbetrouwbaar. Soms schreef de AI een foutief programma, of een andere AI maakte een fout bij het herkennen van de objecten.
• VLC (Het Team) was de winnaar. Omdat ze de "nadenk-regels" expliciet in het boekje (het circuit) hadden gezet, konden ze elke puzzel oplossen, ongeacht hoe groot of complex de foto was.

De Grootste Les

De kernboodschap van dit paper is: Grote AI-modellen zijn geweldig in het zien, maar niet per se in het nadenken.

Als je wilt dat een AI echt slim is en niet alleen maar patronen onthoudt, moet je de "kijken" en het "nadenken" uit elkaar halen. Laat de AI kijken, en laat een strikt logisch systeem de regels toepassen. Op die manier wordt de AI robuust: hij faalt niet als de situatie verandert, omdat hij de fundamentele regels van de wereld begrijpt, in plaats van alleen de training te kennen.

Kortom: Geef de computer een bril om goed te kijken, en geef hem een strikt rekenboekje om de regels te volgen. Dan krijg je een systeem dat echt kan redeneren.

Technische samenvatting

Probleemstelling

Visueel-taalmiddelen (Vision-Language Models of VLMs) worden steeds vaker toegepast op redeneertaken, maar het is onduidelijk of ze robust kunnen redeneren onder covariatenverschuivingen (covariate shifts). Een covariatenverschuiving treedt op wanneer de verdeling van de perceptuele invoer verandert (bijvoorbeeld het aantal objecten in een afbeelding), terwijl de onderliggende regels voor voorspelling ongewijzigd blijven.

De auteurs stellen dat VLMs die zijn fijngefineerd (fine-tuned) via end-to-end gradiëntbased training, vaak hoge nauwkeurigheid behalen op binnen-de-verdeling (in-distribution) data, maar falen bij generalisatie naar buiten-de-verdeling (OOD) data. Dit suggereert dat deze modellen de onderliggende redeneerfunctie niet echt hebben geleerd, maar eerder statistische patronen uit de trainingsdata hebben gememoriseerd. Bestaande neuro-symbolische benaderingen (zoals Prism en ViperGPT), die perceptie en redenering ontkoppelen, tonen ook inconsistente robustheid, vaak vanwege de afhankelijkheid van "black-box" componenten (zoals LLMs of code-generatoren) die fouten kunnen doorgeven.

Methodologie: VLC (Vision-Language Circuit)

Om dit probleem aan te pakken, stellen de auteurs VLC voor, een neuro-symbolische methode die perceptie en redenering strikt ontkoppelt in twee fasen:

1. Fase I: VLM-gebaseerde conceptherkenning

   • Een VLM (in dit geval Qwen2.5-VL-7B) fungeert als het neurale module.
   • De VLM wordt geprompted (met few-shot voorbeelden) om objectconcepten in de invoerafbeelding te herkennen (bijv. cijfers, vormen, kleuren).
   • De output wordt geëxtraheerd en omgezet naar binaire invoerwaarden die geschikt zijn voor symbolische verwerking.

2. Fase II: Circuit-gebaseerde symbolische redenering

   • In plaats van een LLM voor de redenering te gebruiken, worden de taakregels gecompileerd tot een symbolisch programma, specifiek een Booleaans circuit (in dit geval Sentential Decision Diagrams of SDDs, gegenereerd met de pySDD compiler).
   • Dit circuit encodeert de exacte logica van de redeneertaak (bijv. optelling, XOR, relationele checks).
   • Tijdens inferentie voert het circuit de regels exact uit over de binaire invoer van de VLM. Omdat het circuit deterministisch is, wordt de redeneerfunctie perfect uitgevoerd zodra de concepten correct zijn herkend.

De auteurs benadrukken dat dit een "twee-staps" architectuur is zonder globale fine-tuning van het hele systeem; het circuit fungeert als een deterministische mapper.

Experimenten en Resultaten

De auteurs evalueren hun methode op drie visuele deductieve redeneertaken met verschillende regelsets:

• MNAdd: Optellen van twee handgeschreven getallen (MNIST).
• MNLogic: Logische XOR-berekening van een reeks binaire cijfers.
• KandLogic: Relationele check of objecten met dezelfde vorm ook dezelfde kleur hebben.

De datasets zijn gegenereerd met rsbench en bevatten variaties in het aantal objecten per afbeelding (3, 5 en 7 objecten) om covariatenverschuivingen te testen.

Kernresultaten:

• End-to-end Fine-tuning: Hoewel deze modellen bijna perfecte nauwkeurigheid behalen op trainingsdata (3 objecten), stort hun prestatie in op OOD-data (5 of 7 objecten). Dit bevestigt dat ze de redeneerfunctie niet hebben geleerd.
• Prism & ViperGPT: Deze bestaande neuro-symbolische methoden tonen gemengde resultaten. Prism (die een LLM gebruikt voor redenering) faalt bij logische taken ondanks goede prestaties bij rekenen. ViperGPT (die code genereert) is zeer gevoelig voor fouten in de detectiemodellen en de gegenereerde code, wat leidt tot cumulatieve fouten.
• VLC: De voorgestelde methode behaalt consistent hoge nauwkeurigheid over alle taken en dataset-varianten, zelfs onder sterke covariatenverschuivingen.
  • De taaknauwkeurigheid van VLC correleert sterk met de conceptherkenningsnauwkeurigheid van de VLM. Zodra de VLM de concepten herkent, garandeert het circuit het juiste antwoord.
  • Schaalbaarheid: Het vergroten van de VLM-grootte verbetert de conceptherkenning aanzienlijk, maar verbetert de redeneerprestaties van end-to-end modellen niet noodzakelijk. Bij VLC leidt betere herkenning direct tot betere taaknauwkeurigheid.

Belangrijkste Bijdragen

1. VLC Architectuur: Een nieuwe neuro-symbolische aanpak die end-to-end redenering decomposeert in VLM-gebaseerde conceptherkenning en circuit-gebaseerde symbolische redenering.
2. Empirisch Bewijs: Het aantonen dat end-to-end fine-tuning van VLMs niet betrouwbaar de onderliggende redeneerfunctie leert, en dat bestaande "black-box" neuro-symbolische methoden onbetrouwbaar kunnen zijn onder covariatenverschuivingen.
3. Robustheid: Het demonstreren dat het expliciet coderen van de redeneerfunctie in een extern symbolisch programma (circuit) leidt tot robuust redeneren, ongeacht de complexiteit van de perceptuele invoer (aantal objecten).

Betekenis en Conclusie

Het artikel concludeert dat VLMs uitstekend zijn in perceptie, maar worstelen met gestructureerd, regelgebaseerd redeneren wanneer ze alleen via gradiëntafname worden getraind. De integratie van een symbolisch circuit als een deterministische module biedt een oplossing: het zorgt voor interpreteerbaarheid en garandeert dat de logica strikt wordt gevolgd.

Dit onderzoek suggereert dat voor betrouwbare redeneertaken, vooral onder veranderende omstandigheden, het ontkoppelen van perceptie en redenering essentieel is. De beperkingen van de huidige aanpak zijn dat de symbolische regels handmatig moeten worden gedefinieerd en dat de prestaties volledig afhankelijk blijven van de kwaliteit van de VLM-herkenning. Toekomstig werk zou zich kunnen richten op het automatisch extraheren van regels uit natuurlijke taal en het ontwikkelen van flexibeler symbolische modules.