🤖 AI

Test-Time Matching: Unlocking Compositional Reasoning in Multimodal Models

Dit artikel introduceert Test-Time Matching (TTM), een iteratief zelfverbeterend algoritme dat evaluatieartefacten corrigeert via een nieuwe groepsmatching-score en de compositieve redeneercapaciteiten van multimodale modellen aanzienlijk verbetert, waardoor ze de eerdere state-of-the-art resultaten en de geschatte menselijke prestaties op sleutelbenchmarks overtreffen.

Oorspronkelijke auteurs: Yinglun Zhu, Jiancheng Zhang, Fuzhi Tang

Gepubliceerd 2026-04-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yinglun Zhu, Jiancheng Zhang, Fuzhi Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer lastige logische puzzeltoets maakt. De toets vraagt niet om één probleem per keer op te lossen. In plaats daarvan krijg je een kleine "groep" van twee afbeeldingen en twee beschrijvingen. De beschrijvingen gebruiken exact dezelfde woorden, alleen in een andere volgorde. Jouw taak is om het juiste plaatje bij de juiste beschrijving te matchen.

Al geruime tijd falen AI-modellen (de "studenten" die de toets maken) voor dit specifieke type puzzel. Ze scoren vaak zo laag dat het lijkt alsof ze willekeurig gokken, terwijl ze op andere taken ongelooflijk slim zijn.

Dit artikel stelt dat de toets zelf is vervalst, niet de studenten. De auteurs introduceren een nieuwe manier van beoordelen en een nieuwe studietechniek die deze AI-modellen helpt hun ware intelligentie te tonen.

Hier is de uiteenzetting van hun ontdekking en oplossing:

1. Het Gebrekkige Beoordelingssysteem (De "Alles-of-Niets" Valstrik)

Stel je een leraar voor die een matchtoets corrigeert. De oude regel (genaamd GroupScore) was ongelooflijk streng:

Als je beide matches in een paar goed hebt, krijg je een punt.
Als je er zelfs één fout hebt, krijg je nul punten voor dat hele paar.

De auteurs beseften dat deze regel onrechtvaardig is. Het is alsof je zegt: "Als je 99% van een wiskundeprobleem correct oplost maar één klein tekenfoutje maakt, krijg je een nul." Omdat de regel zo streng is, lijken zelfs slimme modellen te falen.

De Oplossing: Een Nieuwe Beoordelingsregel (GroupMatch)
De auteurs stelden een nieuwe regel voor, genaamd GroupMatch. In plaats van elk paar op zichzelf te bekijken, kijkt deze regel naar de totale score van de hele groep.

Analogie: Stel je hebt twee manden fruit. De oude regel zei: "Als je de verkeerde appel in Mand A doet, zak je." De nieuwe regel zegt: "Heb je de best mogelijke appels in de manden overall geplaatst?"
Het Resultaat: Toen ze de AI-modellen opnieuw beoordeelden met deze eerlijkere regel, schoten de scores omhoog. Plotseling bleken modellen die leken te gokken, eigenlijk de meeste antwoorden goed te hebben. Ze hadden gewoon een betere manier nodig om dat te bewijzen.

2. De "SimpleMatch" Truc (De Snelle Oplossing)

Zodra de auteurs beseften dat de modellen de antwoorden eigenlijk wel wisten, vonden ze een eenvoudige manier om die "verborgen kennis" terug te vertalen naar het oude, strenge beoordelingssysteem.

Ze lieten het model eerst de beste algehele match kiezen (met de nieuwe eerlijke regel).
Vervolgens dwongen ze het model om bij die keuze te blijven.
Het Resultaat: Deze eenvoudige stap liet een top-AI (GPT-4.1) hoger scoren dan het geschatte gemiddelde van de mens op de moeilijkste puzzeltoets. Het bewees dat de AI niet slecht was in redeneren; het werd gewoon beoordeeld op een formaliteit.

3. De "Test-Time Matching" (TTM) Studiemoment

De auteurs stopten daar niet mee. Ze wilden de modellen nog slimmer maken terwijl ze de toets maakten, zonder dat een leraar hen hoefde te helpen. Ze bedachten een methode genaamd Test-Time Matching (TTM).

Denk aan TTM als een zelfverbeterende studiemoment dat vlak voor het eindexamen plaatsvindt:

De Eerste Gissing: Het model bekijkt de toetsvragen en maakt zijn beste gok op de matches.
De Zekerheidscontrole: Het model vraagt zichzelf: "Hoe zeker ben ik van deze gok?"
- Als het zeer zeker is, behandelt het die gok als een "feit" (een pseudo-label) en bestudeert het dat.
- Als het onzeker is, negeert het die gok voorlopig.
Het Studeren: Het model past zijn hersenen snel aan (fine-tuning) op basis van de "feiten" die het zojuist heeft geleerd.
Verzachten van de Regels: Naarmate het model slimmer wordt, verlagen de auteurs de "zekerheidsdrempel". Nu begint het model ook de iets moeilijkere vragen te bestuderen waar het eerder onzeker over was.
De Lus: Het herhaalt deze cyclus en leert langzaam van steeds meer toetsvragen totdat het de hele set heeft beheerst.

De Analogie: Stel je een student voor die een oefentoets maakt. In plaats van alleen antwoorden aan te kruisen, zegt hij: "Ik ben 100% zeker van deze 5 vragen, dus ik zal de logica erachter memoriseren." Vervolgens zegt hij: "Oké, ik ben 90% zeker van deze volgende 5, laat me die ook bestuderen." Tegen de tijd dat ze klaar zijn, hebben ze het materiaal geleerd door alleen maar naar de toets zelf te kijken.

De Resultaten

Met deze methode bereikten de auteurs enkele indrukwekkende prestaties:

Nieuwe Records: Ze vestigden nieuwe "State of the Art"-records op verschillende moeilijke benchmarks.
De Reuzen Verslaan: Een kleiner, gespecialiseerd model (SigLIP-B16) kon na gebruik van deze studietechniek een enorme, algemene AI (GPT-4.1) verslaan op specifieke redeneertaken.
Het Werkt Overal: Deze truc werkte niet alleen op de lastige "groep"-puzzels, maar ook op toetsen die helemaal geen groepen hadden. Het werkte zelfs op modellen die tekst genereren (zoals verhalen schrijven) en modellen die alleen afbeeldingen vergelijken.

De Grote Conclusie

Het artikel concludeert dat AI-modellen eigenlijk veel beter zijn in "compositional reasoning" (stukken samenvoegen om nieuwe situaties te begrijpen) dan we dachten. We maten ze gewoon niet correct. Door het beoordelingssysteem te repareren en de modellen een manier te geven om van hun eigen toetsantwoorden te leren, kunnen we hun ware potentieel vrijmaken zonder nieuwe data of menselijke leraren nodig te hebben.

Technische Samenvatting: Test-Time Matching (TTM)

1. Het Probleem: De "Compositional Reasoning" Paradox

Moderne multimodale modellen (zoals CLIP, SigLIP en GPT-4) presteren uitstekend op algemene taken, maar falen vaak spectaculair op taken die compositioneel redeneren vereisen. Dit type redeneren test het vermogen van een model om elementen (objecten, attributen, relaties) systematisch te combineren.

De huidige benchmarks (zoals Winoground) gebruiken vaak een $k \times k$ groepsstructuur (bijv. 2 afbeeldingen en 2 bijschriften die bijna identiek zijn, maar qua woordvolgorde verschillen). De standaard evaluatiemethode, de GroupScore, vereist dat het model voor elk element de exact juiste match vindt via geïsoleerde vergelijkingen. De auteurs stellen dat deze metriek de werkelijke capaciteiten van modellen systematisch onderschat, waardoor modellen vaak scoren op het niveau van een willekeurige gok (random chance).

2. Methodologie

De onderzoekers introduceren twee belangrijke innovaties om dit probleem aan te pakken:

A. Nieuwe Evaluatiemethode: GroupMatch
In plaats van de strikte, geïsoleerde eisen van de GroupScore, introduceren zij de GroupMatch-score.

Concept: GroupMatch kijkt naar de totale gelijkenis van een volledige matching (een bijectie tussen afbeeldingen en tekst). Een match is correct als de som van de gelijkenisscores van de juiste paren hoger is dan de som van de scores van elke andere mogelijke permutatie.
SimpleMatch: De auteurs tonen aan dat de verborgen capaciteit van een model onder GroupMatch kan worden "vertaald" naar de standaard GroupScore door middel van een eenvoudige overfitting-stap op de matchings.

B. Het TTM-algoritme (Test-Time Matching)
TTM is een iteratief, zelfverbeterend algoritme dat werkt zonder externe supervisie (geen extra gelabelde data nodig):

Pseudo-labeling: Het huidige model genereert matchings voor de testset.
Confidence Thresholding: Alleen de matchings waar het model zeer zeker van is (gebaseerd op een marge $\Delta$ tussen de beste en de op één na beste match), worden geselecteerd als pseudo-labels.
Decaying Threshold Schedule: Om de balans tussen precisie en dekking te bewaren, gebruikt TTM een afnemende drempelwaarde ( $\tau$ ). In het begin is de drempel hoog (alleen zeer betrouwbare data), en naarmate het model verbetert, wordt de drempel lager om meer data te omvatten.
Iteratieve Finetuning: Het model wordt herhaaldelijk gefinetuned op deze zelfgegenereerde labels, waardoor het tijdens de testfase steeds sterker wordt.

De methode is ook uitgebreid naar globale matching voor datasets zonder groepsstructuur, waarbij het klassieke assignment problem (via het Hongaarse algoritme) wordt opgelost.

3. Belangrijkste Bijdragen

Correctie van Evaluatie-artefacten: Het aantonen dat de huidige metrieken (GroupScore) een vertekend beeld geven van de werkelijke intelligentie van multimodale modellen.
Zelfverbetering bij Test-time: De introductie van TTM, een algoritme dat de prestaties van modellen verhoogt zonder dat er menselijke labels of extra trainingsdata nodig zijn.
Algemene Toepasbaarheid: TTM werkt niet alleen voor contrastieve modellen (zoals SigLIP), maar ook voor generatieve modellen (zoals SmolVLM) en op datasets zonder vooraf gedefinieerde groepen.

4. Resultaten

De resultaten zijn zeer indrukwekkend en verbreken diverse records:

Winoground: Door de nieuwe metriek (SimpleMatch) bereikt GPT-4.1 voor het eerst een score die de menselijke prestatie (85.5) overtreft (91.38).
MMVP-VLM: Het contrastieve model SigLIP-B16 overtreft GPT-4.1 en vestigt een nieuwe state-of-the-art (SOTA) met een score van 89.44.
Robuustheid: Zelfs op benchmarks waar de metriek-correctie niet helpt (zoals WhatsUp en SugarCrepe), levert TTM significante verbeteringen op, met relatieve winsten tot wel 85.7%.
Generatieve Modellen: Ook kleine generatieve modellen (SmolVLM) laten duidelijke verbeteringen zien door TTM te gebruiken.

5. Betekenis en Conclusie

Dit onderzoek verandert de manier waarop we naar de beperkingen van AI kijken. Het suggereert dat veel van de "tekortkomingen" in compositioneel redeneren niet noodzakelijkerwijs een gebrek aan intelligentie zijn, maar een gevolg van hoe we die intelligentie meten.

De introductie van Test-Time Matching biedt een krachtig nieuw paradigma: modellen hoeven niet alleen tijdens de training te leren, maar kunnen hun eigen redeneervermogen tijdens de inferentie (testfase) actief aanscherpen door patronen in de data zelf te herkennen en te gebruiken.