See, Act, Adapt: Active Perception for Unsupervised Cross-Domain Visual Adaptation via Personalized VLM-Guided Agent

Het artikel introduceert Sea², een onbewaakte cross-domein adaptatiemethode die een gepersonaliseerde VLM-gestuurde agent gebruikt om de camera-houding dynamisch aan te passen en zo de prestaties van bevroren perceptiemodellen in nieuwe omgevingen aanzienlijk verbetert zonder extra labels of herscholing.

De kern

Stel je voor dat je een zeer slimme, goed opgeleide fotograaf hebt. Deze fotograaf is jarenlang getraind op miljoenen foto's van buitenkantjes, straten en parken. Hij kan perfect een hond, een auto of een boom herkennen op een standaard foto.

Maar nu moet deze fotograaf een opdracht krijgen in een donker, rommelig huis (een nieuwe omgeving). Hij loopt de kamer binnen, kijkt naar een bank die half verscholen zit achter een stoel, en zegt: "Ik zie niks, dit is een muur."

Waarom? Omdat hij gewend is aan helder licht en duidelijke hoeken. In het huis zijn de hoeken raar, de belichting slecht en de objecten verstoppen elkaar.

Het oude probleem:
Normaal gesproken zou je de fotograaf nu dwingen om opnieuw te leren. Je zou hem duizenden foto's van dat specifieke huis laten zien met de antwoorden erbij ("dit is een bank, dit is een stoel"). Dit kost enorm veel tijd, geld en het gevaar is dat hij zijn oude kennis (over de buitenwereld) vergeet.

De oplossing van dit papier (Sea2):
De auteurs van dit onderzoek zeggen: "Wacht even. Laten we de fotograaf niet herscholen. Laten we in plaats daarvan een slimme gids voor hem vinden."

Deze gids is een AI-agent die de camera van de fotograaf bedient. De gids zegt niet: "Kijk naar die muur." De gids zegt: "Draai je hoofd naar links, stap drie stappen naar voren en kijk iets omhoog."

Hier is hoe het werkt, stap voor stap, met een paar creatieve vergelijkingen:

1. De "See, Act, Adapt" filosofie

In plaats van de fotograaf (het model) te veranderen, veranderen we hoe hij kijkt.

• See (Zien): De fotograaf kijkt naar de kamer.
• Act (Handelen): De gids (de agent) beweegt de camera.
• Adapt (Aanpassen): De gids leert van de reactie van de fotograaf.

2. De Gids is een "Vertaler" (VLM)

De gids is een speciaal type AI (een Vision-Language Model) dat zowel kan lezen als kijken.

• Jij geeft de opdracht in gewone taal: "Zoek de koelkast bij de deur."
• De gids denkt na: "Oké, ik moet een koelkast zoeken. De deur is links. De fotograaf kijkt nu naar de rechterkant. Ik moet hem naar links draaien."
• De gids stuurt de camera: "Draai links, stap vooruit."

3. De Leermethode: Eerst een handleiding, dan ervaring

De gids moet leren hoe hij de camera moet bewegen zonder dat iemand hem de antwoorden geeft (geen "ground truth"). Ze gebruiken een slimme twee-stappen methode:

• Stap 1: De Handleiding (Supervised Fine-Tuning)
  Eerst leren ze de gids met een simpele, logische regel: "Zoek eerst iets, zet het in het midden van het beeld, en loop er dan naartoe." Dit is alsof je een kind leert: "Kijk eerst waar het is, richt je camera erop, en ga dan dichterbij." Dit geeft de gids een goed startpunt.

• Stap 2: De Proefballon (Reinforcement Learning)
  Nu laten ze de gids los in het huis. Er zijn geen antwoordenboekjes. Hoe weet de gids of hij het goed doet?
  Hij kijkt naar de reactie van de fotograaf.

  • Als de fotograaf zegt: "Ik zie de koelkast nu heel duidelijk en ik ben er zeker van!" -> Goed gedaan! (De gids krijgt een puntje).
  • Als de fotograaf zegt: "Ik zie nog steeds niks" of "Ik ben niet zeker" -> Probeer iets anders. (Geen puntje).

  De gids leert dus door te proberen: "Als ik naar links ga, wordt de fotograaf blijer. Dan ga ik vaker naar links."

4. Waarom is dit zo slim?

• Geen vergeten kennis: Omdat de fotograaf zelf niet wordt aangepast, vergeet hij nooit hoe hij een hond herkent op straat. Hij blijft een expert.
• Geen dure labels: Je hoeft geen menselijke expert te zijn om te zeggen "dit is een koelkast". De gids gebruikt alleen de "zekerheid" van de fotograaf als beloning.
• Plug-and-play: Je kunt deze gids gebruiken voor elke taak. Of het nu gaat om het vinden van een bank, het meten van een kast in 3D, of het snijden van een object uit de foto. De gids past zich aan, de fotograaf niet.

Het resultaat

In de tests bleek dat deze slimme gids de prestaties van de fotograaf in het huis enorm verbeterde.

• Bij het vinden van objecten: +13% beter.
• Bij het snijden van objecten: +15% beter.
• Bij het schatten van de 3D-grootte: +27% beter!

Kortom:
In plaats van de fotograaf te dwingen om alles opnieuw te leren (wat duur en riskant is), geven we hem een slimme assistent die weet hoe hij de camera moet bewegen om de beste foto te maken. De assistent leert door te kijken of de fotograaf tevreden is, en dat werkt veel beter dan je zou denken.

Technische samenvatting

Probleemstelling

Gepretrainde visuele perceptiemodellen (zoals die getraind zijn op internet-afbeeldingen) presteren uitstekend in generieke domeinen, maar vertonen een aanzienlijke prestatiedaling wanneer ze worden ingezet in nieuwe, fysieke omgevingen (zoals binnenruimtes). Dit komt door domeinverschillen in gezichtshoeken, occlusiepatronen en ruimtelijke semantiek.

De conventionele oplossing is fine-tuning op downstream-data, maar dit heeft twee kritieke nadelen:

1. Catastrofaal vergeten (Catastrophic Forgetting): Het aanpassen van de modelparameters leidt vaak tot het verlies van eerder opgedane kennis.
2. Hoge kosten: Het vereist dure, specifieke annotaties voor elke nieuwe scène (zoals pixelmaskers of 3D-bounding boxes), wat vaak niet beschikbaar is in open wereldscenario's.

De kernvraag die het paper beantwoordt is: Kunnen we perceptie aanpassen aan nieuwe domeinen zonder de modellen zelf aan te passen?

Methodologie: Sea2 (See, Act, Adapt)

Het paper introduceert Sea2, een paradigma-verschuiving waarbij niet de perceptiemodules worden aangepast, maar wel hoe ze worden ingezet. In plaats van de "ogen" (het model) te veranderen, verandert Sea2 de "koptelefoon" (de positie van de camera) om de beste informatie te verzamelen.

Kernprincipes:

• Bevroren Perceptie: Alle perceptiemodules (voor visuele grounding, segmentatie en 3D-bounding box schatting) blijven volledig bevroren tijdens het trainen. Er zijn geen downstream-labels nodig.
• VLM-gestuurde Agent: Een Vision-Language Model (VLM) fungeert als een intelligente agent die de camera-pose (positie en oriëntatie) aanstuurt om informatieve gezichtshoeken te vinden.
• Scalar Feedback: De agent leert uitsluitend op basis van scalair perceptiefeedback (zoals detectie-voorkeur of consistentie) van de bevroren modellen, zonder toegang tot ground-truth annotaties.

Het Trainingsproces (Twee-fasen pijplijn):

1. Supervised Fine-Tuning (SFT):

   • Het VLM wordt eerst getraind op regelgebaseerde trajecten gegenereerd door een heuristische algoritme.
   • Deze heuristiek volgt een logische volgorde: Zoeken (roteren tot het object zichtbaar is), Centreren (het object in het midden van het beeld brengen) en Naderen (bewegen tot het object een voldoende groot deel van het beeld inneemt).
   • Dit zorgt voor een stabiele start (cold start) en leert het model de structuur van ruimtelijk redeneren en actie-uitvoer.

2. Onbewaakte Versterkingsleer (Unsupervised RL):

   • Na SFT wordt het beleid verfijnd met behulp van GRPO (Group Relative Policy Optimization).
   • Beloningssysteem (Reward Function): De beloning wordt afgeleid uit de output van de bevroren perceptiemodules en bestaat uit drie componenten:
     • Format Reward: Controleert of de outputstructuur (redenatie, taaktype, actie) correct is.
     • Confidence Reward: Moedigt een toename in de betrouwbaarheidsscore van het perceptiemodel aan tussen opeenvolgende stappen.
     • Geometric Reward: Moedigt aan dat het voorspelde gebied groter wordt (oppervlakte) en dichter bij het midden van het beeld komt.
   • De agent leert zo om de camera zo te bewegen dat de perceptiescores maximaliseren, zonder dat er ooit een menselijke annotatie is gebruikt.

Belangrijkste Bijdragen

1. Plug-and-Play Framework: Het eerste VLM-gebaseerde actieve perceptie-framework dat compatibel is met diverse kant-en-klare modellen. Het vereist geen hertraining van de perceptiemodules zelf.
2. Onbewaakte RL-pijplijn: Een trainingsmethode die uitsluitend gebruikmaakt van taakdoelen en scalair feedback van bevroren modellen, waardoor de noodzaak voor dure, dichte perceptie-annotaties (zoals pixelmaskers) wordt geëlimineerd.
3. Decoupling van Perceptie en Controle: Het creëert een modulaire architectuur waarbij de agent onafhankelijk is van het specifieke perceptiemodel, wat zorgt voor betere generalisatie.

Resultaten

De methode is getest op drie visuele taken: Visuele Grounding, Segmentatie en 3D Box Schatting, in omgevingen zoals ReplicaCAD en HM3D (via Habitat simulator).

Prestaties op ReplicaCAD (vergelijkend met een bevroren basislijn zonder actie):

• Visuele Grounding: +13,54% verbetering in mAP.
• Segmentatie: +15,92% verbetering in IoU (Intersection over Union).
• 3D Box Schatting: +27,68% verbetering in IoU.

Vergelijking met Baselines:

• Simpele bewegingsstrategieën (zoals "altijd vooruit gaan" of "willekeurig bewegen") presteren vaak slechter dan de statische basislijn.
• Zelfs een "Shortest Path" methode (die de exacte 3D-coördinaten van het doel kent) presteert slechter dan Sea2. Dit toont aan dat het alleen maar bij het object komen niet genoeg is; de kwaliteit van het gezichtspunt (minimale occlusie, juiste schaal) is cruciaal voor hoge perceptiekwaliteit.
• Direct het gebruik van een VLM zonder de twee-fasen training (SFT + RL) leidt tot prestatieverlies, wat aantoont dat specifieke aanpassing aan embodied control noodzakelijk is.

Betekenis en Conclusie

Sea2 biedt een krachtig alternatief voor traditionele domeinadaptatie. In plaats van dure annotaties en risicovolle fine-tuning van grote modellen, leert een agent simpelweg hoe hij moet "kijken" om de prestaties van bestaande modellen te maximaliseren.

Dit is een doorbraak voor Embodied AI in open wereldscenario's, waar ground-truth data zeldzaam of onbestaande is. Het bewijst dat strategische selectie van gezichtspunten (viewpoint selection) een efficiënte manier is om domeinkloven te overbruggen, zonder de onderliggende perceptiemodules aan te raken.