🤖 AI

When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning

Dit artikel introduceert Visualized Task Semantics (VTS) om een aanzienlijk prestatieverschil in multimodale modellen te onthullen wanneer instructies als pixels in plaats van tekst zijn ingebed, en stelt een prompt-regio grondingsmethode voor die het semantische kanaalgat effectief overbrugt zonder dat OCR of regio-metadata tijdens inferentie vereist is.

Oorspronkelijke auteurs: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Gepubliceerd 2026-08-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongxin Wang, Ruizhe Zhou, Yueling Tang, Yingying Zhu, Xuemin Zhao, Xiaojun Chang, Xiaodan Liang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot leert om puzzels op te lossen. Deze robot, bekend als een Multimodal Large Language Model (MLLM), is een beetje als een geniale student die tegelijkertijd tekst kan lezen en naar plaatjes kan kijken. Meestal geef je de robot een afbeelding van een wiskundeprobleem en een apart tekstbericht met de tekst: "Los dit op!" De robot leest de tekstinstructie, kijkt naar de afbeelding en geeft het antwoord. Maar wat als je de instructie niet als een tekstbericht geeft? Wat als je de instructie in de afbeelding zelf schrijft, zoals een bord dat op een muur is geschilderd?

Wetenschappers hebben zich afgevraagd of deze robot nog steeds net zo goed zou werken. Maakt het uit of de instructie een "teksttoken" (een digitaal woord) of een "pixel" (een klein stipje kleur op een scherm) is? In de wereld van kunstmatige intelligentie bestaat het vermoeden dat robots heel goed kunnen zijn in het lezen van tekst, maar verschrikkelijk in het "lezen" van instructies die onderdeel zijn van de afbeelding. Ze kunnen de woorden misschien perfect kopiëren (zoals een fotokopieerapparaat), maar falen erin om daadwerkelijk te begrijpen dat die woorden de baas zijn die hen vertelt wat ze moeten doen. Dit artikel duikt in dat mysterie om te zien of de robot in de war raakt wanneer de regels in de afbeelding staan geschreven in plaats van in het chatvenster.

Het Mysterie van de "Gepixelde" Vraag

De onderzoekers, een team van universiteiten en technologiebedrijven, besloten dit idee te testen met een slim experiment dat ze Visualized Task Semantics (VTS) noemen. Stel je voor dat je een standaard wiskundetoets maakt. Normaal gesproken staat de vraag erboven getypt. Voor hun experiment namen ze precies dezelfde vraag, verwijderden de getypte tekst en schilderden de vraag direct op de afbeelding, vlak boven het probleem. Ze vervingen zelfs de oorspronkelijke getypte instructie door een klein, saai briefje waarop alleen stond: "Help me het probleem op te lossen."

Ze voerden deze test uit op zes verschillende AI-modellen met vier verschillende soorten lastige benchmarks (zoals wiskundige grafieken en complexe diagrammen). Het resultaat was een enorme daling in prestaties. Gemiddeld scoorden de modellen 17,8 punten minder nauwkeurig wanneer de vraag in de afbeelding was geschilderd vergeleken met wanneer deze getypt was. In sommige gevallen was de daling zelfs 28,0 punten.

Het was niet alleen dat de robots de letters niet konden lezen. De onderzoekers controleerden dit, en de modellen konden de geschilderde woorden meestal correct transcriberen. Het probleem zat dieper: de modellen faalden erin om die woorden te gebruiken als instructies. Het is also al of de robot het bord op de muur ziet, de woorden kan spellen, maar niet beseft: "Oh, dit bord vertelt mij wat ik moet doen!" De onderzoekers noemen dit een "semantische kanaalgat" (semantic channel gap). Het pad dat de informatie neemt (tekst versus afbeelding) verandert hoe de robot denkt, zelfs als de woorden identiek zijn.

De Oplossing: De Robot Leren het Teken te "Gronden"

Om dit op te lossen, ontwikkelde het team een nieuwe trainingsmethode genaamd Prompt-Region Grounding. Denk aan het leren van een kind om naar een bord te wijzen en te zeggen: "Dit is de regel!"

Ze gebruikten twee speciale trucjes tijdens de training:

PVRD-SG (De "Betekenis Match"): Ze lieten de robot de afbeelding zien met de geschilderde vraag en een aparte, schone tekstversie van diezelfde vraag. Ze dwongen de robot om in te zien dat de specifieke groep pixels die de vraag bevat, hetzelfde betekent als de getypte tekst. Het is alsof je de fysieke tekst op de muur verbindt met het concept van de regel in het brein van de robot.
PRMLP (De "Blinde Vlek" Test): Ze namen de afbeelding met de geschilderde vraag en bedekten delen van de tekst met een zwart vlak (maskering). Vervolgens vroegen ze de robot om te raden wat de verborgen tekst betekende op basis van de rest van de afbeelding. Dit dwong de robot om de essentie van de instructie te leren, in plaats van alleen de exacte pixels te memoriseren.

Het beste eraan? Deze training vereiste niet dat de robot speciale hulpmiddelen gebruikte zoals OCR (Optical Character Recognition) of precies wist waar het tekstvak zich bevond tijdens het maken van de test. Tijdens het uiteindelijke examen ziet de robot gewoon de afbeelding met de geschilderde vraag en geeft direct antwoord, precies zoals voorheen.

De Resultaten: De Kloof Dichten

De resultaten waren veelbelovend. Na deze nieuwe training sprong de nauwkeurigheid van de modellen op de "geschilderde vraag"-tests van 58,0% naar 66,3%. Dat is een aanzienlijke verbetering, waardoor de kloof tussen tekstinstructies en afbeeldinginstructies kleiner wordt. De modellen werden ook iets beter in de oorspronkelijke tekstgebaseerde tests (van 69,1% naar 70,3%), wat bewijst dat ze hun oude vaardigheden niet hebben verloren.

De onderzoekers testten dit op meer dan 1.000 echte afbeeldingen die ze nog nooit hadden gezien, zoals foto's van werkbladen, formulieren en screenshots. De nieuwe methode verbeterde de nauwkeurigheid met 7,9 punten op deze real-world pagina's.

Wat Dit Betekent

Het artikel concludeert dat het lezen van tekst in een afbeelding en het gebruiken van die tekst als instructie twee verschillende vaardigheden zijn. Alleen omdat een robot de woorden kan lezen, betekent dat niet dat hij weet hoe hij ernaar moet luisteren wanneer ze deel uitmaken van een afbeelding. Door de robot te leren de visuele vraag te "gronden" aan de beteken ervan, hebben ze geholgen de kloof te overbruggen.

De auteurs merken voorzichtig op dat hoewel ze de situatie hebben verbeterd, ze het niet volledig hebben opgelost. Er blijft nog steeds een kleine kloof bestaan, en de methode werkt het best wanneer de tekst duidelijk zichtbaar is en in een standaardformaat staat. Deze studie bewijst echter dat de manier waarop we tegen AI praten ertoe doet. Als we willen dat robots echt slim zijn, moeten we hen leren dat een vraag geschreven in pixels net zo belangrijk is als een vraag getypt in een chatvenster.

Technische Samenvatting: Wanneer Prompts Pixels Worden: Prompt-Regio Gronding voor Multimodale Redenering

1. Probleemstelling

Multimodale Large Language Models (MLLM's) verwerken steeds vaker screenshots en documenten waarbij de instructies voor de taak zelf als tekst binnen de afbeelding (pixels) zijn weergegeven. Hoewel hoogwaardige modellen dergelijke tekst met hoge nauwkeurigheid kunnen lezen, blijft het onduidelijk of zij deze visuele instructies met dezelfde effectiviteit gebruiken als tekstgebaseerde prompts.

Eerder werk heeft waargenomen dat er prestatieverlies optreedt wanneer instructies worden gevisualiseerd, maar deze hiaten verwarren vaak meerdere factoren: canvas-expansie, het schalen van afbeeldingen, renderer-artefacten en de semantische verschuiving van teksttokens naar pixels. Cruciaal is dat bestaande benchmarks niet onderscheid maken tussen het falen van een model om de visuele tekst te lezen (OCR-fout) en het falen om de visuele tekst te gebruiken als een instructie voor redenering (semantische kanaalgap). Dit artikel stelt dat het lezen van taakdragende tekst en het gronden ervan als een instructie verschillende capaciteiten zijn, en dat huidige MLLM's een systematische "semantische kanaalgap" vertonen waarbij visuele instructies minder effectief zijn dan getypte instructies, zelfs wanneer de tekst correct wordt getranscribeerd.

2. Methodologie

2.1 Visualized Task Semantics (VTS)

Om de semantische kanaalgap te isoleren, introduceren de auteurs Visualized Task Semantics (VTS), een gecontroleerde interventie.

Originele weergave: De vraag $q$ wordt aangeboden als teksttokens, en de afbeelding $x$ bevat visueel bewijs.
VTS-weergave: De vraag $q$ wordt gerenderd als tekstpixels in een wit paneel boven de afbeelding $x$ . De native tekstprompt wordt vervangen door een vaste aanwijzing (bijv. "Help me dit probleem op te lossen").
Controles: De studie hanteert controles voor canvas-geometrie, prompt-duplicatie (vraag aanwezig in beide kanalen) en afbeelding-alleen inputs om niet-semantische oorzaken voor prestatiedalingen uit te sluiten.

2.2 Prompt-Regio Gronding

Om de kloof te overbruggen, stellen de auteurs Prompt-Regio Gronding voor, een trainingsframework dat de visuele representatie van de vraagregio expliciet afstemt op de getypte semantiek. Deze methode werkt tijdens supervised fine-tuning (SFT) en reinforcement learning (GSPO) zonder de inferentie-interface te wijzigen (geen OCR of regio-metadata vereist op het moment van testen).

Het framework introduceert twee regio-niveau doelstellingen die worden toegepast op VTS en real-world visuele prompt-voorbeelden:

Prompt-Visuele Representatie Distillatie met Semantische Gronding (PVRD-SG):
- Doel: Stem de visuele representatie van de prompt-regio af met de bevroren semantische representatie van de getypte vraag.
- Mechanisme: Het model poolt visuele tokens uit de bekende prompt-regio box $b_i$ in de gerenderde afbeelding. Deze representatie $z_i^{vis}$ wordt geoptimaliseerd om de cosinus-gelijkenis te maximaliseren met een gecachte, bevroren tekst-embedding $t_i$ afgeleid van de getypte vraag.
- Restrictie: De teksttarget is bevroren en heeft een stop-gradient, wat ervoor zorgt dat het model leert de taaksemantiek te herstellen uit de visuele regio zonder gedwongen te worden de tekst te transcriberen.
Prompt-Regio Masked Latent Predictie (PRMLP):
- Doel: Zorgen dat de visuele representatie van de prompt-regio stabiel en herstelbaar blijft, zelfs wanneer delen van de gerenderde tekst worden afgedekt of moeilijk waar te nemen zijn.
- Mechanisme: Een fractie van de prompt-regio in de samengestelde afbeelding wordt gemaskeerd. Het model moet de representatie van de bijbehorende schone crop (de niet-gemaskeerde prompt-regio) voorspellen vanuit de gemaskeerde input.
- Restrictie: Dit is een latente consistentie-doelstelling, geen pixel-reconstructie. Het dwingt het model om een robuuste interne representatie van de instructieregio te behouden.

2.3 Trainingspipeline

Balanced Replay: Het model wordt getraind op een dataset met paren van zowel Originele als VTS-weergaven van hetzelfde probleem, die dezelfde antwoordtarget delen.
Supervised Fine-Tuning (SFT): Het model minimaliseert een gecombineerde loss: de standaard autoregressieve next-token loss ( $L_{sft}$ ) plus de regio-niveau losses ( $L_{sg}$ en $L_{prmlp}$ ).
Reinforcement Learning (GSPO): De supervised checkpoint wordt verder verfijnd met behulp van Group Sequence Policy Optimization (GSPO) met beloningen voor de correctheid van het formaat en de nauwkeurigheid van het antwoord.

3. Belangrijkste Bijdragen

Kwantificering van de Semantische Kanaalgap: De studie toont aan dat het verplaatsen van een vraag van teksttokens naar beeldpixels een systematische daling in nauwkeurigheid veroorzaakt bij zes MLLM's en vier benchmarks. De gemiddelde daling is 17,8 punten, waarbij sommige paren tot wel 28,0 punten dalen.
Ontkoppeling van Lezen en Redeneren: Diagnostische tests onthullen dat modellen visuele vragen vaak correct transcriberen (87,6% exact match), maar ze niet effectief gebruiken (4_8,4% nauwkeurigheid). Het opnieuw invoegen van de getranscribeerde tekst in het tekstkanaal herstelt een aanzienlijk deel van de nauwkeurigheid, wat bewijst dat de kloof niet louter een OCR-fout is, maar een falen om visuele tekst als instructie te gronden.
Prompt-Regio Gronding Methode: De auteurs introduceren een trainingsrecept dat deze kloof overbrugt. Door de visuele prompt-regio af te stemmen op getypte semantiek en latente consistentie af te dwingen, verbetert de methode de VTS-nauwkeurigheid aanzienlijk zonder dat hiervoor OCR of regio-detectie nodig is tijdens de inferentie.
Generalisatie: De methode verbetert de prestaties op uit de training gehouden real-world pagina's (UI's, werkbladen, formulieren) en onafhankelijke benchmarks (VISTA-Bench, OCRBench v2), wat suggereert dat de geleerde gronding-capaciteit verder reikt dan de specifieke VTS-rendering.

4. Experimentele Resultaten

De experimenten werden primair uitgevoerd op Qwen3-VL-4B en Qwen3-VL-8B, met transferresultaten op InternVL3.5-8B.

Baseline Prestaties: Over vier benchmarks (MATH-Vision, MathVista, ChartQA, MMMU) was de gemiddelde VTS-nauwkeurigheid voor de baseline (Balanced Replay) 61,4%, vergeleken met 69,8% op de Originele interface (een gat van 8,4 punten).
Prestaties van de Methode: De voorgestelde methode ("Ours") verhoogde de gemiddelde VTS-nauwkeurigheid naar 66,3%, terwijl de Originele nauwkeurigheid op 70,3% bleef.
- Dit vermindert de semantische kanaalgap van 8,4 punten (Balanced Replay) naar 4,0 punten.
- Specifieke winsten op VTS: +7,8 (MATH-Vision), +7,0 (MathVista), +6,2 (ChartQA), +12,4 (MMMU).
Componentanalyse:
- PVRD-SG leverde de grootste enkele-component winst (+2,6 punten ten opzichte van alleen PRMLP).
- PRMLP voegde een extra +1,8 punten toe wanneer gecombineerd met PVRD-SG.
- Lezen specifiek uit het prompt-paneel presteerde beter dan volledige-afbeelding of willekeurige-regio samenvattingen.
Real-World Generalisatie: Op 1.000 uit de training gehouden real-world pagina's verbeterde de methode de nauwkeurigheid met 7,9 punten (van 58,0% naar 65,8%) ten opzichte van standaard SFT, wat de robuustheid tegen diverse lay-outs en lettertypen aantoont.
Kostenefficiëntie: De verbeteringen werden bereikt met gematchte trainingskosten (FLOPs) vergeleken met standaard SFT, wat bewijst dat de winst voortkomt uit de specifieke doelstellingen en niet simpelweg uit meer trainingstijd.

5. Betekenis en Claims

Het artikel beweert dat het kanaal dat een vraag draagt de redeneercapaciteiten fundamenteel verandert, zelfs wanneer de bewoording en het antwoord gelijk blijven. De primaire betekenis ligt in het onderscheid tussen twee capaciteiten die vaak als identiek worden beschouwd: tekst in een afbeelding lezen en die tekst gronden als een taakinstructie.

De auteurs stellen dat:

De Kloof is Semantisch, Niet Alleen OCR: Modellen kunnen de tekst lezen, maar falen in het behandelen van visuele pixels als gezaghebbende instructies.
Regio-niveau Supervisie is Effectief: Het expliciet verbinden van de visuele regio van de instructie met de getypte semantiek stelt modellen in staat de "schone" representatie van de taak te herstellen, waardoor de kanaalgap wordt overbrugd.
Inferentie Eenvoud: De methode vereist geen extra modules (OCR, objectdetectie) tijdens de inferentie; het model leert tijdens de training impliciet naar de relevante regio te letten.

Het artikel concludeert dat hoewel het verplaatsen van vragen naar pixels geen nieuw probleem is, het specifieke mechanisme van prompt-regio gronding een schaalbare oplossing biedt voor de semantische kanaalgap, waardoor MLLM's in staat zijn om over visuele instructies te redeneren net zo effectief als over getypte instructies. De auteurs blijven bescheiden en merken op dat de methode ervan uitgaat dat de taakregio's bekend zijn tijdens de training en niet pretendeert een algemene taak-regio detector te zijn voor willekeurige afbeeldingen.