💻 computer science

Finding NeMO: A Geometry-Aware Representation of Template Views for Few-Shot Perception

Das Papier stellt NeMO vor, eine neuartige objektspezifische Repräsentation, die die Few-Shot-Erkennung, Segmentierung und 6-DoF-Pose-Schätzung unbekannter Objekte aus RGB-Bildern ermöglicht, indem sie spärliche Template-Ansichten in eine gelernte UDF kodiert, und erzielt damit state-of-the-art-Ergebnisse auf dem BOP-Benchmark, ohne Kameraparameter oder Nachtraining zu erfordern.

Ursprüngliche Autoren: Sebastian Jung, Leonard Klüpfel, Rudolph Triebel, Maximilian Durner

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Sebastian Jung, Leonard Klüpfel, Rudolph Triebel, Maximilian Durner

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, einen bestimmten, seltsam aussehenden Kaffeetassen zu erkennen, den er noch nie gesehen hat. Normalerweise müssten Sie dem Roboter dafür einen perfekten 3D-Blueprint (ein CAD-Modell) dieser Tasse geben. Aber was, wenn Sie keinen Blueprint haben? Was, wenn Sie nur ein paar Fotos der Tasse haben, die mit Ihrem Handy aus verschiedenen Winkeln aufgenommen wurden?

Dieser Artikel stellt eine neue Methode namens NeMO (Neural Memory Object) vor, die dieses Problem löst. Denken Sie an NeMO als eine "intelligente digitale Speicherkarte" für ein Objekt.

So funktioniert es, aufgeschlüsselt in einfache Schritte:

1. Die Erstellung der "Speicherkarte" (Der Encoder)

Stellen Sie sich vor, Sie machen ein paar Fotos eines neuen Objekts (wie dieser Kaffeetasse) aus verschiedenen Winkeln. Sie füttern diese Fotos in das NeMO-System.

Was es tut: Anstatt die Bilder nur zu speichern, analysiert das System sie, um ein 3D-"Gerüst" des Objekts zu erstellen. Es erzeugt eine Punktwolke, die die Form, Textur und Merkmale des Objekts darstellt.
Die Magie: Dieses "Gerüst" wird in seinem eigenen kleinen Koordinatensystem gespeichert. Es ist egal, wo sich die Kamera befand oder wie das Objekt gedreht war; es weiß einfach nur, was das Objekt ist.
Die Analogie: Stellen Sie sich das vor wie das Nehmen einer Handvoll Fotos von einem Freund und das Erstellen eines 3D-Hologramms von ihm in Ihrem Kopf. Sie benötigen keinen Blueprint seines Gesichts; Sie brauchen nur ein paar gute Bilder, um ein mentales Modell zu erstellen.

2. Die "Suche und Übereinstimmung" (Der Decoder)

Stellen Sie sich nun vor, der Roboter befindet sich in einem unordentlichen Raum (einer "unübersichtlichen Szene") und sieht ein neues Foto. Er muss diese spezifische Kaffeetasse finden.

Was es tut: Der Roboter nimmt die zuvor erstellte "Speicherkarte" (das NeMO) und vergleicht sie mit dem neuen Foto.
Das Ergebnis: Das System sagt dem Roboter sofort:
- Wo sich das Objekt befindet (Detektion).
- Welche Form es hat (Segmentierung), selbst wenn ein Teil davon hinter etwas anderem verborgen ist.
- Wie es im Raum positioniert ist (6DoF-Pose), also genau, wie es geneigt und gedreht ist.
- Wie die Oberfläche aussieht (Rekonstruktion), im Wesentlichen wird die vollständige 3D-Form erraten, selbst wenn die Kamera nur einen Teil davon sieht.

3. Warum dies besonders ist

Die meisten aktuellen KI-Systeme sind wie Schüler, die ein bestimmtes Lehrbuch auswendig gelernt haben. Wenn sich die Prüfungsfrage leicht ändert, geraten sie in Verwirrung. Normalerweise müssen sie für jedes neue Objekt "neu trainiert" (wieder gelernt) werden.

NeMO ist anders, weil es das Wissen auslagert.

Kein Neutrainieren: Sie müssen dem Gehirn des Roboters (dem neuronalen Netzwerk) nichts Neues beibringen. Sie geben ihm einfach eine neue "Speicherkarte" (NeMO) für das neue Objekt. Das Gehirn bleibt gleich; nur der Speicher ändert sich.
Effizienz: Sobald die "Speicherkarte" erstellt ist, ist sie sehr schnell zu verwenden. Es ist egal, ob Sie 5 oder 50 Fotos zur Herstellung der Karte verwendet haben; der Roboter verwendet die Karte mit derselben Geschwindigkeit.
Keine Blueprints erforderlich: Es funktioniert ohne ein 3D-CAD-Modell. Es lernt die Form direkt aus echten Fotos.

Was der Artikel tatsächlich bewiesen hat

Die Autoren haben dieses System an verschiedenen Datensätzen (Sammlungen von Bildern, die zum Testen von KI verwendet werden) getestet. Sie zeigten, dass:

Es Objekte finden und identifizieren kann, die es noch nie gesehen hat, selbst in unordentlichen, unübersichtlichen Umgebungen.
Es die Position und Ausrichtung des Objekts sehr genau schätzen kann.
Es sogar die vollständige 3D-Oberfläche des Objekts "erraten" kann, was eine Rekonstruktion ermöglicht.
Es genauso gut oder besser abschneidet als andere Top-Methoden, die 3D-Modelle oder umfangreiches Neutrainieren erfordern.

Die Grenzen (Was es noch nicht kann)

Der Artikel gibt zu, dass das System noch nicht perfekt ist.

Symmetrie: Wenn ein Objekt von allen Seiten gleich aussieht (wie eine perfekte Kugel oder eine symmetrische Tasse), ist das System manchmal verwirrt darüber, welche Richtung "oben" ist.
Texturlose Objekte: Wenn ein Objekt völlig glatt ist und keine Muster aufweist (wie eine plain weiße Kugel), fällt es dem System schwerer, die Form zu erkennen, da es auf visuelle Merkmale angewiesen ist.
Mehrere Objekte: Wenn zwei identische Tassen auf dem Bild sind, könnte das System sie zu einem großen Klumpen verschmelzen lassen, anstatt sie als zwei separate Gegenstände zu erkennen.

Kurz gesagt ist NeMO eine Möglichkeit, einem Roboter mit nur wenigen Fotos eine schnelle, flexible "Erinnerung" an ein neues Objekt zu geben, sodass er dieses Objekt sofort erkennen und damit interagieren kann, ohne einen 3D-Blueprint oder eine lange Trainingsphase zu benötigen.

Technische Zusammenfassung: Finding NeMO

Problemstellung

Die Arbeit adressiert die Herausforderung der Few-Shot-Objektwahrnehmung für Objekte, die während des Trainings nicht gesehen wurden. Während modellbasierte Ansätze (die 3D-CAD-Modelle nutzen) starke Leistungen bei der Detektion, Segmentierung und 6-DoF-Pose-Schätzung erzielt haben, sind sie in vielen realen Szenarien unpraktisch, in denen 3D-Modelle nicht verfügbar sind. Umgekehrt leiden bestehende modellfreie Methoden oft unter schlechter Skalierbarkeit mit der Anzahl der Vorlagenansichten, verlassen sich auf paarweise lokale Vergleiche ohne gemeinsame Schlussfolgerung oder erfordern umfangreiches Nachtrainieren und Vorverarbeiten, um neue Objekte einzubinden. Die Autoren zielen darauf ab, ein System zu entwickeln, das sich schnell an neue Objekte anpassen kann, indem es nur eine Menge ungeordneter RGB-Bilder verwendet, ohne Kamerakalibrierungsparameter, 3D-Modelle oder das Nachtrainieren der Kernnetzwerk-Gewichte zu benötigen.

Methodik: Neural Memory Object (NeMO)

Die vorgeschlagene Lösung ist eine Encoder-Decoder-Architektur, die sich um eine neuartige objektspezifische Repräsentation namens Neural Memory Object (NeMO) dreht.

1. NeMO-Encoder

Der Encoder verarbeitet eine Menge von $K$ ungeordneten RGB-Vorlagenbildern ( $I = \{I_i\}$ ), die ein Zielobjekt darstellen.

Merkmalsextraktion: Ein Vision Transformer (ViT) extrahiert patchweise Merkmale aus allen Vorlagenbildern.
Multi-View-Codierung: Ein Multi-View-Encoder, der Cross- und Self-Attention-Mechanismen nutzt, aktualisiert diese Merkmale. Ein Bild wird als „Anker" ( $I_A$ ) bezeichnet, um die initiale Objektausrichtung zu definieren, während andere damit interagieren, um Multi-View-Informationen zu aggregieren.
Geometrische Abbildung: Um 3D-Geometrie einzubeziehen, sampelt das System eine Menge von 3D-Punkten ( $Q$ ) innerhalb eines normalisierten Volumens. Ein Multi-Layer Perceptron (MLP) kodiert diese Punkte in Merkmalsvektoren. Diese Punktmerkmale werden über einen Geometric Mapping Block (unter Verwendung von Transformer-Decodern) mit den aktualisierten Bildmerkmalen fusioniert, wodurch 3D-Punkte in der Lage sind, objektspezifische 2D-visuelle Hinweise zu beachten.
Oberflächenrekonstruktion und Repräsentation: Das Netzwerk lernt ein Unsigned Distance Field (UDF), um den Abstand von den initialen 3D-Punkten zur geschätzten Objektoberfläche vorherzusagen. Die finale NeMO-Repräsentation ( $\chi$ ) ist eine sparse, kontinuierliche Punktwolke, bei der jeder Punkt aus einer geschätzten 3D-Oberflächenkoordinate ( $s_i$ ) und seinem entsprechenden Merkmalsvektor ( $\hat{f}^Q_i$ ) besteht.
Schlüsseleigenschaft: Die objektspezifischen Informationen werden von den Parametern des Decoders entkoppelt. Das NeMO fungiert als „Speicher", der unabhängig von den Netzwerkgewichten transformiert (rotiert, translatiert, skaliert) werden kann.

2. NeMO-Decoder

Der Decoder nimmt ein Abfragebild ( $I_q$ ) und die vorausberechnete NeMO-Repräsentation ( $\chi$ ) entgegen, um dichte Vorhersagen zu generieren.

Merkmalsfusion: Merkmalsmerkmale des Abfragebildes (via ViT extrahiert) werden aktualisiert, indem sie unter Verwendung von Cross- und Self-Attention die NeMO-Merkmale beachten.
Dichte Vorhersageköpfe: Unter Verwendung eines DPT (Dense Prediction Transformer)-Backbones mit mehreren Ausgabeköpfen generiert der Decoder:
- Modale und Amodale Segmentierungsmasken: Vorhersage sowohl der sichtbaren als auch der verdeckten Teile des Objekts.
- 2D-3D-Korrespondenz (Pointmap): Eine dichte Karte, die 2D-Pixel im Abfragebild mit 3D-Oberflächenpunkten verbindet, die im Koordinatensystem des NeMO definiert sind.
- Konfidenzkarte: Eine zugehörige Konfidenzbewertung für die 2D-3D-Zuordnung.
Pose-Schätzung: Die 6-DoF-Pose wird durch Filtern der Pointmap basierend auf der Konfidenz und Anwendung von RANSAC mit Perspective-n-Point (PnP)-Algorithmen geschätzt.

3. Trainingsstrategie

Encoder und Decoder werden gemeinsam end-to-end auf einem großskaligen synthetischen Datensatz trainiert, der mit BlenderProc generiert wurde.

Verlustfunktionen: Das Training minimiert den euklidischen Abstand zwischen vorhergesagten und Ground-Truth-Oberflächenpunkten, Segmentierungsverluste (Dice und BCE) und einen konfidenzgewichteten L1-Verlust für 2D-3D-Korrespondenzen.
Daten-Augmentierung: Während des Trainings wird die NeMO-Punktwolke zufällig rotiert, translatiert und skaliert, bevor sie an den Decoder weitergegeben wird. Dies zwingt den Decoder, ein vom Ankerbild unabhängiges Koordinatensystem zu lernen und stellt Robustheit gegenüber der Orientierung des NeMO sicher.
Offline/Online-Trennung: Die rechenintensive Codierung der Vorlagenansichten wird offline durchgeführt. Die Inferenzzeit hängt nur vom Abfragebild und dem vorausberechneten NeMO ab, wodurch sie unabhängig von der Anzahl der Eingabe-Vorlagen bleibt.

Hauptbeiträge

NeMO-Repräsentation: Eine geometriesensitive, kompakte und kontinuierliche Punktwolken-Repräsentation von Vorlagenansichten, die sowohl semantische als auch geometrische Merkmale kapselt, ohne Kameraparameter oder 3D-Modelle zu benötigen.
Vereinheitlichte Architektur: Ein einzelnes Encoder-Decoder-Netzwerk, das Detektion, Segmentierung und 6-DoF-Pose-Schätzung sowohl für modellfreie (nur RGB-Vorlagen) als auch modellbasierte (CAD-Modelle verfügbar) Settings durchführen kann.
Skalierbarkeit und Effizienz: Die Methode entkoppelt Objektdaten von Netzwerkgewichten, was eine schnelle Integration neuer Objekte ohne Nachtraining ermöglicht. Die Inferenzlaufzeit und der Speicherverbrauch bleiben konstant, unabhängig von der Anzahl der zur Generierung des NeMO verwendeten Vorlagenbilder.
Neuer Datensatz: Die Autoren tragen einen vielfältigen, objektspezifischen synthetischen Datensatz bei, der realistische unübersichtliche Szenen nachahmt, um die Forschung in diesem Bereich zu unterstützen.

Experimentelle Ergebnisse

Die Methode wurde auf dem BOP-Benchmark über verschiedene Datensätze (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) für modellfreie und modellbasierte Settings evaluiert.

Modellfreie Detektion: Die Methode erzielte State-of-the-Art (SOTA)-Ergebnisse auf den HOPEv2- und HANDAL-Datensätzen und übertraf die bisherigen besten Methoden um 2,7 bzw. 1,9 Prozentpunkte in der Average Precision (AP). Bemerkenswerterweise ist sie die erste, die amodale Segmentierungen in einem modellfreien Setting unter Verwendung eines einzigen Netzwerks vorhersagt.
Modellfreie Pose-Schätzung: Der Ansatz erzielte SOTA-Ergebnisse auf dem HANDAL-Datensatz bei Verwendung von NeMO-Detektionen und schnitt bei Verwendung alternativer Detektionen mit anderen Methoden gleichauf.
Modellbasierte Wahrnehmung: In modellbasierten Settings (wo CAD-Modelle zur Inferenz, aber nicht zum Training verfügbar sind) schnitt die Methode wettbewerbsfähig ab, belegte den 6. Platz auf YCB-V und erzielte SOTA auf TUD-L für die Detektion. Sie zeigte eine hohe Recall-Rate auf TUD-L und YCB-V für die Pose-Schätzung ohne Nachverfeinerung, hatte jedoch Schwierigkeiten mit den symmetrischen, texturlosen Objekten in T-LESS.
Ablationsstudien: Experimente zeigten, dass die Leistung mit der Anzahl der Vorlagenbilder skaliert (sättigt bei etwa 32 Ansichten) und mit der Anzahl der NeMO-Punkte (sättigt bei etwa 500 Punkten). Das System zeigte Rotationsäquivarianz, wobei das Rotieren des NeMO-Eingangs zu entsprechenden Rotationen in den vorhergesagten Pointmaps führte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass NeMO eine vielseitige Lösung für die modellfreie Few-Shot-Wahrnehmung bietet und effektiv die Lücke zwischen der Flexibilität modellfreier Methoden und der geometrischen Präzision modellbasierter Ansätze schließt. Durch die Auslagerung von Objektdaten in ein NeMO ermöglicht das System:

Schnelle Integration: Neue Objekte können integriert werden, ohne das Netzwerk nachtrainieren zu müssen.
Mehrstufige Pipelines: Die Fähigkeit, Objekte in unübersichtlichen Szenen zu detektieren und zu segmentieren, ermöglicht das Zuschneiden von Regionen von Interesse für nachfolgende Verarbeitungsschritte.
Skalierbarkeit: Die Trennung von Codierung und Dekodierung stellt sicher, dass das Hinzufügen weiterer Vorlagenansichten die Inferenz-Latenz nicht erhöht.

Die Autoren räumen Einschränkungen ein, insbesondere bezüglich symmetrischer und stark texturloser Objekte (wie im T-LESS-Datensatz gesehen), und führen dies auf aktuelle Trainingsverfahren und Datensatzverzerrungen zurück, nicht auf die Repräsentation selbst. Sie schließen, dass ihre Arbeit Diskussionen über die Entkopplung von Objektwissen von Modellgewichten anregt, um die Few-Shot-Wahrnehmung voranzutreiben.