Technische Samenvatting: NeMO vinden

Probleemstelling

Het artikel behandelt de uitdaging van objectperceptie met weinig voorbeelden voor objecten die niet tijdens het trainen zijn gezien. Hoewel modelgebaseerde benaderingen (met gebruik van 3D CAD-modellen) sterke prestaties hebben geboekt bij detectie, segmentatie en schatting van de 6DoF-pose, zijn ze in veel real-world scenario's onpraktisch waar 3D-modellen niet beschikbaar zijn. Omgekeerd lijden bestaande modelvrije methoden vaak aan slechte schaalbaarheid met het aantal template-weergaven, vertrouwen ze op paarwijze lokale vergelijkingen zonder gezamenlijk redeneren, of vereisen ze uitgebreide hertraining en voorverwerking om nieuwe objecten toe te voegen. De auteurs beogen een systeem te ontwikkelen dat zich snel kan aanpassen aan nieuwe objecten met uitsluitend een set ongeordende RGB-afbeeldingen, zonder camera-calibratieparameters, 3D-modellen of het hertrainen van de kernnetwerkgewichten te vereisen.

Methodologie: Neural Memory Object (NeMO)

De voorgestelde oplossing is een encoder-decoder-architectuur die draait om een nieuw objectgericht representatieconcept genaamd Neural Memory Object (NeMO).

1. NeMO Encoder

De encoder verwerkt een set van $K$ ongeordende RGB-templateafbeeldingen ($I = \{I_i\}$) die een doelobject afbeelden.

• Functie-extractie: Een Vision Transformer (ViT) haalt patch-gebaseerde functies uit alle templateafbeeldingen.
• Multi-view Encoding: Een multi-view encoder, gebruikmakend van cross- en self-attention-mechanismen, werkt deze functies bij. Eén afbeelding wordt aangewezen als "anker" ($I_A$) om de initiële objectoriëntatie te definiëren, terwijl andere er mee interageren om multi-view-informatie te aggregeren.
• Geometrische mapping: Om 3D-geometrie te incorporeren, sampleert het systeem een set 3D-punten ($Q$) binnen een genormaliseerd volume. Een Multi-Layer Perceptron (MLP) encodeert deze punten in featurevectoren. Deze puntfuncties worden via een Geometrische Mapping Block (met Transformer Decoders) samengevoegd met de bijgewerkte afbeeldingsfuncties, waardoor 3D-punten kunnen letten op objectspecifieke 2D-visuele aanwijzingen.
• Oppervlakreconstructie en representatie: Het netwerk leert een Unsigned Distance Field (UDF) om de afstand van de initiële 3D-punten tot het geschatte objectoppervlak te voorspellen. De uiteindelijke NeMO-representatie ($\chi$) is een schaarse, continue pointcloud waarbij elk punt bestaat uit een geschatte 3D-oppervlakcoördinaat ($s_i$) en de bijbehorende featurevector ($\hat{f}^Q_i$).
• Kernkarakteristiek: De objectspecifieke informatie is losgekoppeld van de parameters van de decoder. De NeMO fungeert als een "geheugen" dat onafhankelijk van de netwerkgewichten kan worden getransformeerd (geroteerd, vertaald, geschaald).

2. NeMO Decoder

De decoder neemt een query-afbeelding ($I_q$) en de vooraf berekende NeMO-representatie ($\chi$) om dichte voorspellingen te genereren.

• Functiesamenvoeging: Query-afbeeldingsfuncties (geëxtraheerd via ViT) worden bijgewerkt door te letten op de NeMO-functies met behulp van cross- en self-attention.
• Dichte voorspellingkoppen: Met behulp van een DPT (Dense Prediction Transformer) backbone met meerdere output-koppen genereert de decoder:
  • Modale en amodale segmentatiemaskers: Het voorspellen van zowel zichtbare als verduisterde delen van het object.
  • 2D-3D-correspondentie (Pointmap): Een dichte kaart die 2D-pixels in de query-afbeelding koppelt aan 3D-oppervlakpunten gedefinieerd in het coördinatenstelsel van de NeMO.
  • Vertrouwenskaart: Een bijbehorende vertrouwensscore voor de 2D-3D-mapping.
• Poseschatting: De 6DoF-pose wordt geschat door de pointmap te filteren op basis van vertrouwen en RANSAC toe te passen met Perspective-n-Point (PnP) algoritmen.

3. Trainingsstrategie

De encoder en decoder worden gezamenlijk end-to-end getraind op een grootschalige synthetische dataset gegenereerd met BlenderProc.

• Verliesfuncties: De training minimaliseert de Euclidische afstand tussen voorspelde en ground-truth oppervlakpunten, segmentatieverliezen (Dice en BCE), en een op vertrouwen gewogen L1-verlies voor 2D-3D-correspondenties.
• Data-augmentatie: Tijdens training wordt de NeMO pointcloud willekeurig geroteerd, vertaald en geschaald voordat deze naar de decoder wordt doorgegeven. Dit dwingt de decoder om een coördinatenstelsel te leren dat onafhankelijk is van de ankerafbeelding, wat robuustheid garandeert ten opzichte van de oriëntatie van de NeMO.
• Offline/Online scheiding: De computatiezware encoding van template-weergaven wordt offline uitgevoerd. De inferentietijd hangt alleen af van de query-afbeelding en de vooraf berekende NeMO, waardoor deze invariant is ten opzichte van het aantal input-templates.

Kernbijdragen

1. NeMO-representatie: Een geometrie-gevoelige, compacte en continue pointcloud-representatie van template-weergaven die zowel semantische als geometrische functies omvat zonder camera-parameters of 3D-modellen te vereisen.
2. Gefuseerde architectuur: Een enkel encoder-decoder-netwerk dat detectie, segmentatie en 6DoF-poseschatting kan uitvoeren voor zowel modelvrije (alleen RGB-templates) als modelgebaseerde (CAD-modellen beschikbaar) settings.
3. Schaalbaarheid en efficiëntie: De methode ontkoppelt objectinformatie van netwerkgewichten, waardoor snelle integratie van nieuwe objecten mogelijk is zonder hertraining. De inferentietijd en het geheugengebruik blijven constant, ongeacht het aantal template-afbeeldingen dat wordt gebruikt om de NeMO te genereren.
4. Nieuwe dataset: De auteurs dragen een diverse, objectgerichte synthetische dataset bij die realistische rommelige scènes nabootst om onderzoek op dit domein te ondersteunen.

Experimentele resultaten

De methode werd geëvalueerd op de BOP-benchmark over verschillende datasets (HOPEv2, HANDAL, T-LESS, TUD-L, YCB-V) voor modelvrije en modelgebaseerde settings.

• Modelvrije detectie: De methode behaalde State-of-the-Art (SOTA) resultaten op de HOPEv2- en HANDAL-datasets, en presteerde 2,7 en 1,9 procentpunten beter in Average Precision (AP) dan eerdere beste methoden. Opmerkelijk is dat het de eerste is die amodale segmentaties voorspelt in een modelvrije setting met behulp van één enkel netwerk.
• Modelvrije poseschatting: De aanpak behaalde SOTA-resultaten op de HANDAL-dataset bij gebruik van NeMO-detecties, en presteerde op gelijke voet met andere methoden bij gebruik van alternatieve detecties.
• Modelgebaseerde perceptie: In modelgebaseerde settings (waarbij CAD-modellen beschikbaar zijn tijdens inferentie maar niet tijdens training) presteerde de methode concurrerend, met een 6e plaats op YCB-V en SOTA op TUD-L voor detectie. Het toonde een hoge recall op TUD-L en YCB-V voor poseschatting zonder verfijning, hoewel het moeite had met symmetrische, textuurloze objecten in T-LESS.
• Ablatiestudies: Experimenten toonden aan dat de prestaties schalen met het aantal template-afbeeldingen (verzadigend rond 32 weergaven) en het aantal NeMO-punten (verzadigend rond 500 punten). Het systeem toonde rotatie-equivalentie, waarbij het roteren van de NeMO-input resulteerde in overeenkomstige rotaties in de voorspelde pointmaps.

Betekenis en claims

Het artikel beweert dat NeMO een veelzijdige oplossing biedt voor modelvrije perceptie met weinig voorbeelden, en effectief de kloof overbrugt tussen de flexibiliteit van modelvrije methoden en de geometrische precisie van modelgebaseerde benaderingen. Door objectinformatie uit te besteden naar een NeMO, stelt het systeem het volgende mogelijk:

• Snelle integratie: Nieuwe objecten kunnen worden geïntegreerd zonder het netwerk te hertrainen.
• Meertraps-pijplijnen: Het vermogen om objecten in rommelige scènes te detecteren en te segmenteren, stelt het mogelijk om gebieden van belang af te snijden voor verdere verwerking.
• Schaalbaarheid: De scheiding tussen encoding en decoding zorgt ervoor dat het toevoegen van meer template-weergaven de inferentielatentie niet verhoogt.

De auteurs erkennen beperkingen, met name wat betreft symmetrische en sterk textuurloze objecten (zoals gezien in de T-LESS-dataset), en schrijven dit toe aan huidige trainingsprocedures en dataset-bias in plaats van de representatie zelf. Zij concluderen dat hun werk discussie stimuleert over het ontkoppelen van objectkennis van modelgewichten om perceptie met weinig voorbeelden vooruit te helpen.