Pixelis: Reasoning in Pixels, from Seeing to Acting

Het artikel introduceert Pixelis, een pixel-gebaseerd agentensysteem dat visuele intelligentie verbetert door direct te handelen op afbeeldingen en video's via uitvoerbare bewerkingen en te leren uit de gevolgen daarvan, wat leidt tot betere prestaties op benchmarks en veilig aanpassingsvermogen zonder externe feedback.

De kern

Pixelis: Van "Kijken" naar "Doen" met een digitale vergrootglas

Stel je voor dat je een heel slimme kunstenaar hebt die alleen maar naar schilderijen kan kijken en erover kan praten. Hij kan zeggen: "Oh, daar zit een hondje," of "Die boom is groen." Maar als je vraagt: "Kun je die hond eens van dichterbij bekijken?" of "Kun je tellen hoeveel ballonnen er zijn?", dan kan hij dat niet. Hij blijft passief kijken. Hij is als een toerist die alleen foto's maakt, maar nooit de stad in loopt om de geuren te ruiken of de straten te verkennen.

Pixelis is de oplossing voor dit probleem. Het is een nieuwe soort kunstmatige intelligentie (AI) die niet alleen kijkt, maar doet. Het is alsof we die toerist een setje gereedschappen geven: een vergrootglas, een schaar, een camera en een notitieblok. Pixelis gebruikt deze gereedschappen om actief in de afbeelding te werken, dingen te vinden, te meten en te controleren, en leert van wat er gebeurt.

Hier is hoe het werkt, stap voor stap:

1. De Drie Leren-fases (Het Opleidingsplan)

Pixelis wordt niet in één keer slim. Het doorloopt drie fases, net als een leerling die eerst de theorie leert, dan oefent, en tenslotte zelfstandig aan de slag gaat.

• Fase 1: De "Leerling" (Supervised Fine-Tuning)
  In deze fase leert Pixelis de taal van de gereedschappen. Stel je voor dat het een kind is dat leert hoe je een schaar vasthoudt. Het kijkt naar voorbeelden van hoe een mens een afbeelding analyseert: "Eerst zoom ik in, dan knip ik dit stukje uit, en daarna lees ik de tekst." Het leert de regels van deze "gereedschaps-taal" door na te doen wat een expert doet. Het leert niet alleen wat er te zien is, maar hoe je dat moet vinden.

• Fase 2: De "Nieuwsgierige Ontdekker" (Curiosity-Coherence RFT)
  Nu Pixelis de gereedschappen kent, moet het leren wanneer ze te gebruiken.

  • Nieuwsgierigheid: Soms moet je iets van dichterbij bekijken omdat het raar lijkt. Pixelis wordt beloond als het iets ontdekt dat het niet direct begreep (een "verrassing").
  • Samenhang: Maar je mag niet wild om je heen springen. Je mag niet eerst inzoomen op een hond, dan plotseling een boom lezen, en daarna weer naar de hond kijken zonder reden. Pixelis leert dat elke stap logisch moet volgen op de vorige. Het is als het bouwen van een huis: je legt eerst de fundering, dan de muren. Je bouwt niet eerst het dak en daarna de fundering. Deze fase zorgt ervoor dat de "denkpaden" van Pixelis kort, logisch en efficiënt zijn.

• Fase 3: De "Slimme Reiziger" (Test-Time RL)
  Dit is het magische deel. Als Pixelis een nieuwe, moeilijke afbeelding ziet waar het nog nooit eerder naar heeft gekeken, moet het zich aanpassen.

  • Het kijkt naar zijn eigen eerdere successen: "Hoe heb ik dit soort problemen eerder opgelost?"
  • Het stemt af op de beste antwoorden van een groepje "vergelijkbare" oplossingen (een meerderheidsstemming).
  • De Veiligheidsriem: Het belangrijkste is dat het niet "dwaalt". Stel je voor dat je een auto rijdt en plotseling een nieuwe route probeert. Je wilt niet dat je de weg kwijtraakt. Pixelis heeft een onzichtbare veiligheidsgordel (een "KL-corridor"). Als het te ver afwijkt van wat het al weet, wordt het zachtjes teruggeleid naar de veilige weg. Zo leert het van nieuwe situaties zonder zijn oude kennis te vergeten of gekke fouten te maken.

2. Waarom is dit zo speciaal? (De Metaforen)

• Van "Woorden" naar "Pixels":
  Normale AI's werken met "woorden" (tokens). Ze denken in zinnen. Pixelis werkt met pixels (de kleine puntjes waar een foto uit bestaat).

  • Vergelijking: Een gewone AI zegt: "Er is een auto." Pixelis zegt: "Ik zie een rode vorm op coördinaat X,Y, ik zoom erin, ik meet de wielen, en ja, het is een auto." Het werkt direct met de fysieke wereld van de afbeelding, niet alleen met beschrijvingen.

• De "Audit" (Controle):
  Omdat Pixelis gereedschappen gebruikt, kunnen we precies zien wat het heeft gedaan. Het is alsof het een dagboek bijhoudt: "Ik heb ingezoomd op punt A, ik heb tekst gelezen op punt B." Als het een fout maakt, kunnen we precies zien waar het misging. Dit maakt de AI betrouwbaarder en transparanter.

• Korte en Schone Paden:
  Vroeger maakten AI's soms lange, verwarrende lijnen van gedachten (bijvoorbeeld: "Ik denk dat het een hond is... nee wacht, misschien een wolf... laat me nog eens kijken..."). Pixelis leert door de "Nieuwsgierigheid" en "Samenhang" om deze paden kort en doelgericht te houden. Het komt sneller tot het juiste antwoord zonder in de war te raken.

3. Het Resultaat

In tests heeft Pixelis laten zien dat het beter is dan eerdere modellen, vooral bij taken die kijken, meten en tijd nodig hebben (zoals video's analyseren).

• Het maakt minder fouten.
• Het gebruikt minder stappen om tot een antwoord te komen (efficiënter).
• Het kan zich aanpassen aan nieuwe situaties zonder dat er iemand handmatig hoeft in te grijpen.

Kortom: Pixelis is de overstap van een passieve toeschouwer die alleen beschrijft wat hij ziet, naar een actieve onderzoeker die met gereedschappen in de afbeelding werkt, leert van zijn fouten, en de wereld om hem heen (in dit geval de digitale wereld van pixels) echt begrijpt door er daadwerkelijk mee te interageren. Het is de stap van "kijken" naar "doen".

Technische samenvatting

Probleemstelling

Bestaande visueel-taalmodellen (VLMs) fungeren voornamelijk als statische waarnemers: ze kunnen afbeeldingen beschrijven, maar handelen niet op basis van visuele bewijslast en kunnen niet veilig leren tijdens het testen (onder domeinverschuiving). Deze passiviteit beperkt de generaliseerbare, fysisch onderbouwde visuele intelligentie. Er is een gebrek aan systemen die:

1. Direct handelen op pixelniveau (in plaats van abstracte tokens).
2. Leerprocessen koppelen aan acties en de gevolgen daarvan.
3. Veilig kunnen adapteren zonder externe feedback of menselijke tussenkomst.

Methodologie: Pixelis

Pixelis is een agent in de pixelruimte die direct opereert op afbeeldingen en video's via een compacte set uitvoerbare bewerkingen (zoals zoomen/croppen, segmenteren, volgen, OCR en temporele lokalisatie). Het systeem leert uit de consequenties van zijn eigen acties via een drie-fasen trainingspipeline:

1. Supervised Fine-Tuning (SFT): Grammatica van Pixel-Tools

• Doel: Het leren van de syntaxis van toolgebruik.
• Methode: Het model wordt getraind op "Chain-of-Thought-Action" (CoTA) sporen. Een speciaal masker-imitatieverlies wordt gebruikt waarbij tokens die behoren tot toolnamen en argumenten zwaarder wegen dan gewone tekst.
• Auxiliary Loss: Er worden extra hoofden toegevoegd om de precisie van pixel-argumenten (zoals bounding boxes, OCR-tekst en tijdsmarkeringen) te stabiliseren.

2. Curiosity-Coherence Reward Fine-Tuning (CC-RFT)

• Doel: Het sturen van exploratie en het voorkomen van chaotisch gedrag.
• Methode: Een dual-drive objectief wordt geoptimaliseerd:
  • Curiosity: Beloning voor voorspellingsfouten (wanneer de tool een nieuwe visuele toestand genereert die het model niet goed voorspelde), maar gewogen door onzekerheid om ruis te filteren.
  • Coherence: Een prior die "aangrenzende-stap coherentie" eist. Dit straalt af op het willekeurig wisselen van tools en moedigt logisch opgebouwde, korte ketens aan.
  • Efficiency: Een lichte prior voor korte ketens.
• Beveiliging: Updates worden beperkt door een KL-divergentie (Kullback-Leibler) anker ten opzichte van het SFT-beleid.

3. Pixel Test-Time RL (Pixel TTRL)

• Doel: Veilige online adaptatie zonder gelabelde data tijdens het testen.
• Methode:
  • Retrieval & Voting: Voor een query worden nabije voorbeelden opgehaald. In plaats van alleen te stemmen over het eindantwoord, stemt het systeem over volledige trajecten (de reeks tools en acties).
  • Exemplar Selectie: Er wordt gekozen voor korte, hoogwaardige voorbeelden die consistent zijn in gedrag.
  • Veiligheidscontrole: Een "KL-to-EMA" corridor (Exponential Moving Average) fungeert als een kompas. Updates die te ver afwijken van een stabiel referentiebeleid worden gestraft, wat drift voorkomt.
  • Abstention: Bij hoge onzekerheid of tegenstrijdige meningen in de meerderheid, abstineert het systeem van updates om fouten te voorkomen.

Belangrijkste Bijdragen

1. Pixel-Space Acting: Pixelis introduceert een agent die verifieerbare toolchains composeert en direct op pixels handelt, waardoor de perceptie-actie-lus wordt gesloten.
2. CC-RFT: Een nieuwe trainingsfase die voorspellingsfout-curiositeit koppelt aan aangrenzende-stap coherentie, wat leidt tot gestructureerde en compacte plannen zonder procescritici.
3. Pixel TTRL: Een test-tijd reinforcement learning-methode die gebruikmaakt van gedragsvoting over trajecten (in plaats van alleen antwoorden) en drift controleert via een KL-EMA corridor.
4. Auditbaarheid: Het systeem produceert korte, reproduceerbare toolchains die transparant maken hoe een antwoord is verkregen, in tegenstelling tot "black-box" tekstuele redenering.

Resultaten

Pixelis werd geëvalueerd op zes publieke benchmarks voor beeld- en video-redenering (o.a. VSI-Bench, MVBench, InfoVQA) met een 8B-parameter backbone (Qwen3-VL-8B).

• Prestatieverbetering: Het systeem boekte een consistente verbetering met een gemiddelde relatieve winst van +4,08% ten opzichte van de baselines, met pieken van +6,03% op VSI-Bench.
• Efficiëntie: De toolchains werden aanzienlijk verkort (van gemiddeld ~6 stappen naar 3,7 stappen), wat leidt tot lagere latentie.
• Stabiliteit: Tijdens test-tijd adaptatie bleef de token-level KL-divergentie binnen de veilige corridor (< 0,2), terwijl systemen zonder veiligheidsmaatregelen een KL > 0,4 vertoonden met een ineenstorting van de nauwkeurigheid.
• Validatie: De verbeteringen worden toegeschreven aan de pixel-tools en niet aan tekstuele heuristieken, wat wordt onderbouwd door tool-ablatie-studies en audits op tool-nauwkeurigheid (IoU, ANLS, HOTA).

Betekenis en Impact

Pixelis markeert een verschuiving van passieve visuele observatie naar actieve, fysisch onderbouwde intelligentie. Door te redeneren in pixelruimte en te handelen via uitvoerbare tools, koppelt het visuele redenering direct aan tastbare uitkomsten. Dit maakt het mogelijk voor modellen om zich aan te passen aan nieuwe omgevingen (zoals veranderingen in belichting of objecten) zonder externe feedback, wat essentieel is voor embodied AI (robotica) en mens-AI samenwerking. Het systeem biedt bovendien een transparant, auditabel kader voor hoe AI-systemen tot conclusies komen, wat vertrouwen en reproduceerbaarheid vergroot.