🤖 AI

PInVerify: An Offline Embodied Benchmark for Active Instance Verification

Dieses Paper führt PInVerify ein, einen Offline-Embodied-Benchmark, der darauf ausgelegt ist, Aufgaben der aktiven Instanzverifizierung (Active Instance Verification, AIV) zu bewerten, bei denen Agenten Multi-View-Inspektionen durchführen müssen, um feingliedrige Objektattribute zu unterscheiden, wobei aufgezeigt wird, dass mittels LoRA feinabgestimmte Agenten zwar eine starke Leistung erzielen, aktuelle Next-Best-View-Strategien jedoch noch keine zuverlässigen Gewinne gegenüber statischen Baselines bieten.

Ursprüngliche Autoren: Yuhang Jiang

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yuhang Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Roboter-Kellner in einem belebten, vollgestellten Restaurant. Ihr Chef gibt Ihnen eine sehr spezifische Bestellung: "Bring mir die weiße Tasse mit dem roten Blumenmuster und einem winzigen blauen Punkt."

Sie scannen den Raum, entdecken eine weiße Tasse und gehen direkt darauf zu. In vielen aktuellen Roboter-Tests erhält der Roboter in dem Moment, in dem er bei der Tasse ankommt, das Feedback: „Gute Arbeit! Du hast eine Tasse gefunden!“ und bekommt einen goldenen Stern.

Aber hier liegt das Problem: Diese Tasse könnte weiße Streifen haben, ein grünes Logo oder gar keinen Punkt aufweisen. Sie haben die Kategorie richtig erkannt (es ist eine Tasse), aber das spezifische Exemplar falsch identifiziert. Wenn Sie sie Ihrem Chef servieren würden, wäre er verärgert.

Dieses Paper, PInVerify, führt eine neue Art und Weise ein, Roboter zu testen, die diesen Fehler behebt. Es nennt diese Aufgabe Active Instance Verification (AIV).

Die Kernidee: „Erst schauen, dann handeln“

Anstatt einfach nur stehen zu bleiben, wenn man nah genug dran ist, wird der Roboter nun aufgefordert, ein Spiel nach dem Motto „Ist es das Richtige?“ zu spielen, bevor er sich festlegt.

Stellen Sie sich den Roboter wie einen Detektiv vor, der einen Verdächtigen untersucht. Der Verdächtige (das Objekt) steht in einem Raum. Der Detektiv (der Roboter) hat eine Beschreibung des echten Täters. Der Detektiv kann nicht einfach nur aus einem Winkel schauen; er muss um den Verdächtigen herumgehen, hinter ihn spähen und seine Schuhe überprüfen, um zu 100 % sicher zu sein, dass es die richtige Person ist.

Der neue Test: PInVerify

Die Autoren haben einen digitalen Spielplatz namens PInVerify gebaut, um dies zu testen. So funktioniert es:

Der Aufbau: Sie platzierten 18 verschiedene Arten von Alltagsgegenständen (wie Rucksäcke, Tassen und Teddybären) in 3D-Virtualräumen.
Die Falle: Sie gaben dem Roboter nicht nur eine klare Sicht. Sie erstellten eine „6-Sektor“-Karte um jedes Objekt herum. Einige Stellen bieten eine gute Sicht auf das Objekt. Andere sind „Trap Views“ (Fallen-Perspektiven) – Orte, an denen der Roboter zwar physisch hingehen kann, das Objekt aber hinter einem Stuhl verborgen oder unscharf erscheint.
Die Herausforderung: Der Roboter erhält eine detaillierte Beschreibung (z. B. „ein roter Rucksack mit einem goldenen Reißverschluss“) und ein Kandidat-Objekt. Er muss entscheiden: Ist das der richtige Rucksack oder nur ein roter Rucksack, der ähnlich aussieht?

Wie sie es getestet haben

Die Forscher probierten zwei Hauptansätze aus, um zu sehen, welcher Roboter-„Verstand“ bei dieser Detektivarbeit am besten abschneidet:

1. Der „Ohne-Training“-Detektiv (Training-Free)
Dies ist so, als würde man einem klugen Menschen eine Lupe und eine Checkliste geben, ihn aber nicht üben lassen. Hierbei wird ein bereits existierendes KI-Modell (Qwen3-VL) verwendet, das bereits gelernt hat, zu sehen und zu lesen.

Die Strategie: Der Roboter zerlegt die Beschreibung in kleine Hinweise (Farbe, Muster, Logo). Er betrachtet das Objekt, überprüft einen Hinweis und bewegt sich dann zu einem neuen Winkel, um den nächsten zu prüfen.
Das Ergebnis: Er war ziemlich gut darin, „Nein, das ist es nicht“ zu sagen, wenn das Objekt falsch war. Aber er war manchmal zu schnell dabei, „Nein“ zu sagen, selbst wenn das Objekt richtig war, nur weil er ein bestimmtes Detail aus einem Winkel nicht sehen konnte.

2. Der „Trainierte“ Detektiv (LoRA-Fine-Tuned)
Dies ist so, als würde man derselben klugen KI ein spezielles Intensivtraining für genau dieses Spiel geben. Sie zeigten ihr tausende Beispiele von „Richtiger Tasse“ vs. „Falscher Tasse“ und ließen sie die Muster lernen.

Das Ergebnis: Dieser trainierte Roboter wurde viel besser darin, „Ja, das ist sie!“ zu sagen (eine Verbesserung der Erfolgsrate von 14 % auf über 75 %). Er lernte, selbstbewusster zu sein, wenn er genügend Beweise sah.
Der Kompromiss: Weil er so gut darin wurde, „Ja“ zu sagen, unterlief ihm manchmal der Fehler, auch bei einem falschen Objekt „Ja“ zu sagen (wie etwa einen schwarzen Laptop mit einem blauen zu verwechseln). Er wurde etwas übermäßig selbstbewusst.

Wichtige Erkenntnisse (Die „Aha!“-Momente)

Geometrie allein reicht nicht: Nur weil ein Roboter in der Lage ist, zu einem Objekt zu navigieren, bedeutet das nicht, dass er versteht, was das Objekt ist. Nah heranzukommen ist einfach; die Details zu verifizieren ist schwer.
Die „Falle“ ist real: Die Forscher fanden heraus, dass Roboter oft bei „Trap Views“ (Winkeln, in denen das Objekt verborgen ist) stecken bleiben. Wenn der Robot nicht erkennt, dass er aus einem schlechten Winkel schaut, trifft er eine falsche Entscheidung.
Größer ist nicht immer besser: Sie testeten verschiedene Größen von KI-Gehirnen. Überraschenderweise schnitt ein etwas kleineres, gut trainiertes Gehirn (8 Milliarden Parameter) besser ab als einige größere, untrainierte Modelle.
Die Erkennung ist der Flaschenhals: Der Hauptgrund für das Scheitern der Roboter war nicht, dass sie nicht intensiv genug „denken“ konnten; es war, dass sie das Objekt nicht klar genug sehen konnten. Wenn die „Augen“ des Roboters (der Detektor) unscharf waren, konnte das Gehirn nichts mehr ausrichten.
Umhergehen hilft, aber nur ein wenig: Die Roboter probierten verschiedene Strategien aus, welchen Winkel sie als Nächstes ansteuern sollten (wie „gehe zum weitesten Punkt“ vs. „frage die KI, wohin man schauen soll“). Überraschenderweise halfen die ausgeklügelten Strategien nicht viel mehr als einfach einen neuen Winkel zufällig zu wählen. Die wahre Magie lag im Denken nach dem Schauen, nicht im Gehen selbst.

Das Fazit

Dieses Paper sagt nicht nur: „Roboter werden besser im Laufen.“ Es sagt: „Roboter müssen lernen, ihre Arbeit zu überprüfen.“

Die Autoren haben einen neuen Benchmark (PInVerify) geschaffen, der Roboter dazu zwingt, anzuhalten, sich umzusehen und Details zu verifizieren, bevor sie handeln. Sie fanden heraus, dass aktuelle KIs zwar besser darin werden, aber immer noch Schwierigkeiten mit winzigen Details und schlechten Blickwinkeln haben. Die besten Ergebnisse wurden durch ein gezieltes Training der KI auf diese „Verifizierungsaufgabe“ erzielt, was beweist, dass Roboter für echte Hilfe so sorgfältig wie ein Detektiv sein müssen und nicht nur so schnell wie ein Lieferfahrer.

Technisches Resümee: PInVerify: Ein Offline-Embodied-Benchmark für Aktive Instanzverifizierung

1. Problemdefinition

Aktuelle Embodied-AI-Benchmarks (z. B. ObjectNav, OVON, PIN) bewerten primär die Fähigkeit eines Agenten, in die Nähe einer Zielobjektkategorie oder einer sprachlich spezifizierten Instanz zu navigieren. Das Erreichen der Zielnähe garantiert jedoch nicht, dass der Agent die korrekte Instanz identifiziert hat. Subtile Attributunterschiede (z. B. „weiße florale“ vs. „weiß gestreifte“ Tassen) erfordern oft eine Inspektion aus nächster Nähe und aus mehreren Blickwinkeln, um diese aufzulösen. Bestehende Navigationsmetriken behandeln das Erreichen der Zielnähe als Erfolg und verschleiern dabei einen kritischen Fehlermodus, bei dem der Agent trotz Erreichen des korrekten Standorts das falsche Objekt liefert.

Das Paper identifiziert eine Lücke zwischen geometrischem Erfolg (Ankunft in der Nähe des Ziels) und semantischem Erfolg (Verifizierung der Instanzidentität anhand einer feingranularen Beschreibung). Während einige jüngere Arbeiten „Zielverifizierungsschritte“ in Navigationsketten einbetten, bleibt die Verifizierung dort eingebettet, statt als isoliertes Entscheidungsproblem behandelt zu werden. Die Autoren plädieren für Aktive Instanzverifizierung (Active Instance Verification, AIV): eine Aufgabe, bei der ein Agent, gegeben ein Kandidatsobjekt und eine feingranulare natürliche Sprachbeschreibung, aktiv eine Sequenz von Blickwinkeln auswählt, um zu entscheiden, ob das Objekt der Beschreibung entspricht.

2. Methodik und Benchmark-Design

2.1 Die AIV-Aufgabenformulierung

AIV wird als endlicher Horizont-Entscheidungsprozess formalisiert. Eine Episode wird durch ein Tupel $(Q, o_{query}, o_{target}, G)$ definiert:

$Q$ : Eine Menge natürlicher Sprachbeschreibungen, die die Query-Instanz charakterisieren.
$o_{target}$ : Das physisch im Szenario platzierte Kandidatsobjekt.
$G$ : Ein Navigationsgraph um $o_{target}$ , bestehend aus vorab erfassten Blickwinkeln (Knoten) und navigierbaren Übergängen (Kanten).

Zustand und Aktion:

Zustand ( $S_t$ ): Beinhaltet den aktuellen Blickwinkel ( $p_t$ ), die Beobachtung (RGB-Bild + Sichtbarkeitswarnungen) und eine interne Überzeugung ( $B_t$ ) über die Verifizierungsentscheidung.
Aktionsraum ( $A$ ): Beinhaltet Navigationsaktionen ( $NAV_{d_k}$ ), um zu einem von $K=6$ azimutalen Sektoren zu bewegen, sowie terminale Verifizierungsentscheidungen ($JA, NEIN$).
Horizont: $T=6$ Schritte (jeder Sektor wird höchstens einmal besucht).

Paartypen:
Um zwischen Kalibrierungs-Bias und Erkennungsfähigkeit zu unterscheiden, ist der Evaluierungssatz über drei Paartypen balanciert:

Positiv: $o_{query} = o_{target}$ (Gleiche Instanz).
Negativ-Gleich (Neg Same): Gleiche Kategorie, unterschiedliche feingranulare Attribute (z. B. zwei Rucksäcke mit unterschiedlichen Farben).
Negativ-Differenz (Neg Diff): Unterschiedliche Kategorien (z. B. Rucksack-Query vs. Hut-Target).

2.2 Der PInVerify-Benchmark

PInVerify ist ein Offline-Embodied-Benchmark, der auf dem PInNED-Datensatz (HM3D-Szenen mit Objaverse-XL-Objekten) basiert. Wesentliche Innovationen sind:

Datenumfang: 3.000 Evaluationsepisoden über 18 Objektkategorien (z. B. Rucksack, Tasse, Schlüssel).
Multi-View-Topologie: Ein 6-Sektor-Navigationsgraph mit zwei Beobachtungsringen (Fern: 1,4–1,7 m; Nah: 0,9–1,2 m).
Protokollseitige Annotationen:
- Trap Views (Fallen-Blickwinkel): Geometrisch navigierbare Sektoren, in denen die projizierte Maske des Targets unter einen Sichtbarkeitsschwellenwert fällt (uninformativ aufgrund von Okklusion oder Winkel).
- Unerreichbare Sektoren: Sektoren, die durch Wände oder Möbel blockiert sind, wodurch die Navigation fehlschlägt.
- Stratifizierte Paare: Explizite Trennung von positiven, Neg-Same- und Neg-Diff-Paaren zur Analyse von Fehlermodi.
Offline-Natur: Vorab erfasste Beobachtungen eliminieren die Rendering-Stochastik und isolieren die Verifizierungsentscheidung von der Lokomotionssteuerung, was kontrollierte Ablationen zu Detektion und Reasoning ermöglicht.

2.3 Referenz-Agenten

Die Autoren stellen zwei Baseline-Agenten bereit, um die Schwierigkeit von PInVerify abzubilden:

Trainingsfreier modularer Pipeline-Ansatz:
- Attribut-Dekomposition: Nutzt ein MLLM, um Beschreibungen in strukturierte Attribute zu zerlegen.
- Per-View-Verifizierung: Lokalisiert das Objekt (via Grounding DINO oder GT-Boxen) und verifiziert Attribute einzeln.
- Konfidenz-gewichteter Tracker: Akkumuliert Evidenz über verschiedene Ansichten hinweg und gewichtet Beobachtungen mit geringer Sichtbarkeit (Trap Views) ab, um fälschliche Ablehnungen zu verhindern.
- Next-Best-View (NBV): Vergleicht Random, Angular Farthest-Point Sampling (FPS) und LLM-gestützte Strategien.
LoRA-feingetunter End-to-End-Agent:
- Basierend auf Qwen3-VL-4B, feingetunt mittels LoRA.
- Trainiert via Supervised Fine-Tuning (SFT) auf Chain-of-Thought-Traces, gefolgt von Alignment-Strategien (DPO, GRPO, GSPO).
- Führt Verifizierung und Navigation in einem einzigen Forward-Pass durch.

3. Kernergebnisse

3.1 Baseline-Performance

MLLM vs. Embeddings: Die beste MLLM-basierte Baseline (Qwen3-VL-4B mit Attribut-Dekomposition und Multi-View-Tracking) erreicht eine Gesamtgenauigkeit von 85,0 %, was die beste Embedding-Baseline (SigLIP2, 80,1 %) um 4,9 Prozentpunkte (pp) übertrifft. Die Differenz ist bei positiven Paaren signifikant größer (59,6 % vs. 42,9 %).
Detektions-Bottleneck: Ablationen unter Verwendung von Ground Truth (GT) Bounding Boxes anstelle von Grounding DINO zeigen einen Gewinn von +3,1 pp in der Gesamtgenauigkeit (und +10,6 pp bei positiven Paaren), was die Detektionsqualität als wesentlichen Engpass identifiziert, insbesondere bei kleinen Objekten (z. B. Schlüssel, Uhren).
NBV-Strategien: Innerhalb des getesteten Maßstabs liefern verschiedene NBV-Strategien (Random, FPS, LLM-gestützt) Ergebnisse innerhalb des 95 %-Konfidenzintervalls ( $\pm 1,3$ pp). Keine Strategie zeigt zuverlässige Vorteile gegenüber dem Random-Sampling in der trainingsfreien Einstellung.

3.2 Performance des trainierten Agenten

SFT-Impact: Ein mittels LoRA feingetunter Agent (SFT) verbessert die Gesamtgenauigkeit von 70,6 % (Base) auf 84,8 %, mit einem massiven Sprung in der Genauigkeit positiver Paare (0,146 $\to$ 0,759).
Alignment: Post-SFT-Alignment mit GSPO (Group Sequence Policy Optimization) verbessert die Leistung weiter auf 85,6 % (88,9 % mit GT-Boxen).
Trade-offs: Trainierte Agenten zeigen eine Verschiebung in der Kalibrierung: Sie verbessern die Bestätigung positiver Fälle signifikant, weisen aber im Vergleich zur trainingsfreien Pipeline eine reduzierte Genauigkeit bei der Ablehnung von „Neg-Same“-Paaren auf. Zudem demonstrieren sie eine höhere Effizienz, indem sie die durchschnittliche Anzahl der Schritte bis zur Entscheidung (Average Steps to Decision, ASD) von 2,34 auf 1,62 und die Navigationsfehlerrate von 28 % auf 9 % senken.

4. Bedeutung und Ansprüche

Das Paper positioniert PInVerify als einen kontrollierten Teststand, der bestehende Navigations-Benchmarks ergänzt, statt sie zu ersetzen. Die Bedeutung liegt in:

Isolierung der semantischen Verifizierung: Durch die Abstraktion der Fortbewegung ermöglicht es Forschern, die spezifische Herausforderung der Verifizierung feingranularer Instanzidentitäten unter Okklusion und Blickwinkelunsicherheit zu untersuchen.
Aufdeckung von Kalibrierungsproblemen: Die Ergebnisse verdeutlichen, dass für On-Device MLLMs ( $\le$ 8B Parameter) die Kalibrierung (das Gleichgewicht zwischen Bestätigung von Übereinstimmungen und Ablehnung von Nicht-Übereinstimmungen) ebenso kritisch ist wie die reine Leistungsfähigkeit. Die beste Query-Strategie hängt vom spezifischen Kalibrierungsprofil des Modells ab.
Identifizierung von Engpässen: Der Benchmark macht explizit die Detektionsqualität und den Umgang mit „Trap Views“ als primäre Fehlermodi sichtbar, was darauf hindeutet, dass zukünftige Arbeiten robuste Open-Vocabulary-Detektion und unsicherheitssensible View-Selektion adressieren müssen.
Offline-Reproduzierbarkeit: Die Verwendung vorab erfasster Daten stellt sicher, dass die Evaluierungsergebnisse nicht durch Rendering-Variationen oder die Stochastik der Steuerung konfundiert werden, was einen fairen Vergleich von Verifizierungsalgorithmen ermöglicht.

Die Autoren kommen zu dem Schluss, dass aktuelle MLLMs zwar aktive Verifizierung durchführen können, aber noch nicht robust genug sind, um in allen Szenarien zuverlässig den „besten“ Blickwinkel zu wählen, und dass die Detektionsqualität weiterhin ein limitierender Faktor für die feingranulare semantische Verifizierung in der Embodied AI bleibt.