See, Act, Adapt: Active Perception for Unsupervised Cross-Domain Visual Adaptation via Personalized VLM-Guided Agent

Die Arbeit stellt Sea² vor, einen unüberwachten Ansatz zur domänenübergreifenden visuellen Anpassung, der einen personalisierten VLM-gesteuerten Agenten nutzt, um durch aktive Pose-Steuerung und skalare Rückmeldungen die Leistung vortrainierter Wahrnehmungsmodelle in neuen Umgebungen zu verbessern, ohne diese Modelle selbst nachtrainieren zu müssen.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen Fotografen, der Millionen von Fotos aus dem Internet gesehen hat. Er kann auf jedem Bild sofort erkennen: „Das ist eine Katze!" oder „Das ist ein Sofa!". Aber wenn du ihn in eine völlig neue, dunkle Wohnung mit seltsamen Möbeln bringst, wird er plötzlich unsicher. Er sieht das Sofa vielleicht gar nicht, weil es im Schatten liegt oder nur teilweise zu sehen ist.

Normalerweise würde man dem Fotografen jetzt sagen: „Hey, schau dir diese neuen Bilder an und lerne daraus!" Das Problem dabei: Man müsste ihm tausende Bilder mit genauen Markierungen zeigen (z. B. „Hier ist das Sofa, hier ist die Kante"). Das kostet Zeit, Geld und man vergisst dabei oft, was er vorher schon konnte.

Sea2 (See, Act, Adapt) schlägt einen völlig anderen Weg vor. Statt den Fotografen selbst umzubilden, verändern wir den Fotografen nicht, sondern seinen Assistenten.

Hier ist die einfache Erklärung der Idee, wie ein kleines Theaterstück:

1. Der Star ist starr, der Regisseur ist flexibel

Stell dir den vorgefertigten Bilderkennungs-Modell (den Fotografen) als einen starrköpfigen Star vor. Er ist extrem talentiert, aber er lernt nichts Neues mehr. Wir lassen ihn in Ruhe und ändern seine „Gehirnstruktur" nicht.

Stattdessen haben wir einen intelligenten Regisseur (eine KI, die auf einem großen Sprachmodell basiert). Seine Aufgabe ist es nicht, das Bild zu erkennen, sondern zu entscheiden: „Wo soll die Kamera stehen, damit der Star das Beste sieht?"

2. Das Problem: Der Star sieht nur das, was ihm gezeigt wird

Wenn der Star in einer dunklen Ecke steht und nur den Rand eines Sofas sieht, sagt er: „Ich bin mir nicht sicher."
Der Regisseur denkt sich: „Aha! Der Star ist verwirrt, weil das Bild schlecht ist. Ich muss die Kamera bewegen!"

3. Die Lösung: „Sehen, Handeln, Anpassen" (See, Act, Adapt)

Das System funktioniert in drei Schritten, wie ein gut geöltes Team:

• Schritt 1: Der Regisseur lernt die Regeln (Supervised Fine-Tuning)
  Zuerst bringt man dem Regisseur bei, wie man sich in einem Raum bewegt. Man zeigt ihm einfache Regeln: „Dreh dich, bis du etwas siehst. Geh näher ran, wenn es zu klein ist. Zentriere das Objekt." Das ist wie das Lernen von Fahrstunden, bevor man ins echte Verkehrsgewühl geht.

• Schritt 2: Der Regisseur lernt durch Feedback (Unsupervised Reinforcement Learning)
  Jetzt kommt das Geniale: Der Regisseur muss keine neuen Bilder mit Markierungen lernen. Er bekommt nur ein einfaches Signal vom Star: „Ich bin mir zu 30% sicher" oder „Ich bin mir zu 90% sicher".

  • Die Analogie: Stell dir vor, du spielst ein Videospiel, bei dem du nicht siehst, wo der Schatz ist. Aber dein Charakter sagt dir: „Je näher ich dem Schatz komme, desto lauter wird das Piepen." Der Regisseur lernt, die Kamera so zu bewegen, dass das „Piepen" (das Vertrauens-Signal) immer lauter wird. Er sucht den perfekten Blickwinkel, ohne jemals zu wissen, wie das Sofa wirklich aussieht.

• Schritt 3: Die Anpassung
  Wenn der Regisseur merkt, dass der Star verwirrt ist (weil das Sofa verdeckt ist), bewegt er die Kamera: „Geh einen Schritt zur Seite, schau nach oben!" Plötzlich sieht der Star das Sofa klar und sagt: „Aha! Das ist ein Sofa!" und ist sich zu 99% sicher.

Warum ist das so toll?

• Kein neues Lernen für den Star: Der Star vergisst nichts, was er vorher wusste. Er bleibt ein Experte für alles.
• Keine teuren Markierungen: Man braucht keine Menschen, die Stunden damit verbringen, Bilder zu markieren. Das System lernt allein durch das „Piepen" des Stars.
• Plug-and-Play: Du kannst diesen Regisseur mit jedem Star (jeder Bilderkennungs-KI) zusammenarbeiten. Ob er jetzt Katzen, Autos oder 3D-Boxen erkennt – der Regisseur passt sich automatisch an.

Das Ergebnis

In Tests hat sich gezeigt, dass dieser Ansatz den Star in neuen Umgebungen (wie Innenräumen) deutlich besser arbeiten lässt als wenn man ihn einfach so stehen lässt oder ihn mühsam neu trainiert.

• Bei der Objekterkennung wurde er 13,5 % besser.
• Bei der Bildsegmentierung (das genaue Ausmalen von Objekten) 15,9 % besser.
• Bei der 3D-Abstandsschätzung sogar 27,7 % besser!

Zusammenfassend:
Sea2 ist wie ein genialer Kameramann, der weiß, wie er einen starren, aber talentierten Fotografen so positioniert, dass dieser in jeder noch so chaotischen Umgebung das perfekte Foto macht – ohne dass der Fotograf selbst jemals einen neuen Kurs besuchen muss.

Technische Zusammenfassung

1. Problemstellung

Vorab trainierte Wahrnehmungsmodelle (z. B. für Objekterkennung, Segmentierung oder 3D-Schätzung) zeigen auf generischen Internet-Daten hervorragende Ergebnisse, leiden jedoch unter einem signifikanten Leistungsabfall, wenn sie in neuen, embodied Umgebungen (wie Innenräumen) eingesetzt werden. Dies liegt an Domänenlücken in Bezug auf Blickwinkelverteilungen, Okklusionsmuster und räumliche Semantik.

Die herkömmliche Lösung – das Fine-Tuning der Modelle auf Downstream-Daten – hat zwei gravierende Nachteile:

1. Katastrophales Vergessen: Das Modell verliert sein zuvor erworbenes Allgemeinwissen.
2. Hohe Kosten: Es werden aufwändige, szenenspezifische Annotationen (z. B. Pixel-Masken, 3D-Bounding-Boxen) benötigt, die in offenen Welten oft nicht verfügbar sind.

Die zentrale Forschungsfrage lautet: Kann man die Wahrnehmung an neue Domänen anpassen, ohne die Modelle selbst zu verändern?

2. Methodik: Sea2 (See, Act, Adapt)

Das Paper schlägt einen Paradigmenwechsel vor: Statt die Wahrnehmungsmodule anzupassen, wird gesteuert, wie sie eingesetzt werden. Die Kernidee ist, dass die Wahrnehmungsleistung nicht nur von der Modellkapazität, sondern entscheidend von der Informativität des gewählten Blickwinkels abhängt.

Das Framework:

• Frozierte Module: Alle Wahrnehmungsmodelle (z. B. GroundingDINO, SAM, 3D-Box-Schätzer) bleiben während des gesamten Trainingsprozesses eingefroren. Es werden keine Downstream-Labels benötigt.
• VLM-gesteuerter Agent: Ein Vision-Language-Model (VLM) wird in einen intelligenten Agenten verwandelt, der die Kamerapose steuert, um informative Ansichten zu finden.
• Feedback-Mechanismus: Der Agent erhält nur skalare Rückmeldungen (z. B. Konfidenzscores, geometrische Konsistenz) von den eingefrorenen Modellen, um seine Aktionen zu optimieren.

Der zweistufige Trainings-Pipeline:

1. Supervised Fine-Tuning (SFT): Das VLM wird zunächst mit regelbasierten Trajektorien trainiert. Diese heuristischen Pfade (Suchen -> Zentrieren -> Annähern) dienen dazu, das Modell mit räumlichem Denken und dem korrekten Ausgabeformat (Gedanken, Task-Typ, Prompt, Aktion) vertraut zu machen.
2. Unsupervised Reinforcement Learning (RL): Anschließend wird die Politik mittels GRPO (Group Relative Policy Optimization) verfeinert.
   • Belohnungsfunktion (Reward): Die Belohnung setzt sich aus drei Komponenten zusammen:
     • Format-Reward: Sicherstellung der korrekten Ausgabestruktur.
     • Konfidenz-Reward: Steigerung des Konfidenzscores des Wahrnehmungsmodells zwischen den Schritten.
     • Geometrischer Reward: Förderung der räumlichen Konsistenz (Flächenanteil des Objekts im Bild und Ausrichtung zum Bildzentrum).
   • Wichtig: Die Belohnung wird rein aus den Ausgaben der eingefrorenen Module berechnet, ohne Zugriff auf Ground-Truth-Annotationen.

3. Wichtige Beiträge

1. Plug-and-Play Kompatibilität: Sea2 ist das erste VLM-basierte Active-Perception-Framework, das nahtlos mit verschiedenen, vorgefertigten Wahrnehmungsmodellen funktioniert, ohne diese neu trainieren zu müssen.
2. Unsupervised RL-Training: Die Einführung eines Trainingspipelines, das ausschließlich auf skalaren Feedback-Signalen der eingefrorenen Modelle basiert. Dies eliminiert die Notwendigkeit für dichte Annotationen (Pixel-Level oder 3D-Boxen) und ermöglicht Lernen in annotierungsarmen Umgebungen.
3. Entkopplung von Wahrnehmung und Steuerung: Durch die Trennung der Kontrollpolitik vom Wahrnehmungsmodul wird katastrophales Vergessen vermieden und eine flexible Anpassung an verschiedene Aufgaben (Detektion, Segmentierung, 3D) ermöglicht.

4. Ergebnisse

Die Methode wurde auf drei visuellen Aufgaben getestet: Visual Grounding, Segmentierung und 3D-Bounding-Box-Schätzung. Die Experimente wurden in photorealistischen Umgebungen (Habitat) auf den Datensätzen ReplicaCAD und HM3D durchgeführt.

Leistungsgewinne auf ReplicaCAD:

• Visual Grounding: +13,54% (mAP)
• Segmentierung: +15,92% (IoU)
• 3D Box Estimation: +27,68% (IoU)

Vergleich mit Baselines:

• Einfache Bewegungsstrategien (nur „vorwärts gehen" oder zufällige Aktionen) führten zu starken Leistungsabfällen.
• Heuristische Ansätze zeigten nur marginale Verbesserungen, da sie reaktiv sind und bei initialen Fehldetektionen scheitern.
• Sogar ein „Shortest Path"-Ansatz (der die exakte 3D-Position des Ziels kennt) konnte die Leistung nicht so stark steigern wie Sea2, was zeigt, dass das bloße Erreichen des Ziels nicht ausreicht; der Blickwinkel muss strategisch optimiert werden, um Okklusionen zu minimieren.
• Das direkte Nutzen eines VLM ohne das vorgeschlagene zweistufige Training führte zu schlechteren Ergebnissen als die statische Basis.

5. Bedeutung und Fazit

Sea2 demonstriert, dass eine intelligente Steuerung des Blickwinkels eine effiziente und annotierungsfreie Alternative zum traditionellen Fine-Tuning für die Domänenanpassung darstellt.

• Skalierbarkeit: Da keine neuen Labels benötigt werden, kann das System in offenen Welten eingesetzt werden, wo Ground-Truth-Daten fehlen.
• Robustheit: Die Methode funktioniert über verschiedene Wahrnehmungsarchitekturen hinweg und gleicht Domänenlücken aus, indem sie die „besten" Ansichten für das jeweilige Modell sucht.
• Zukunftsperspektive: Dies eröffnet einen neuen Weg für die Embodied AI, bei der Agenten nicht durch das Umlernen ihrer Wahrnehmung, sondern durch intelligentes Handeln (Bewegung und Blicksteuerung) lernen, ihre Umgebung besser zu verstehen.