Adding Another Dimension to Image-based Animal Detection

Probleemstelling

Monoculaire (één oog) beeldopname van dieren reduceert inherent 3D-structuren tot 2D-projecties. Bestaande detectie-algoritmen genereren 2D-bounding boxes die wel de locatie in de afbeelding aangeven, maar geen informatie bevatten over de oriëntatie van het dier ten opzichte van de camera. Dit beperkt de toepassing van Visuele Dierbiometrie (VAB), omdat:

1. Het uiterlijk van dieren sterk varieert afhankelijk van het profiel (bijv. links- vs. rechtsprofiel).
2. Biometrische kenmerken vaak specifiek zijn voor een bepaald profiel (bijv. gezicht of zijkant).

Het ontwikkelen van 3D-detectiemethoden voor RGB-dierafbeeldingen wordt gehinderd door het gebrek aan gelabelde datasets. Het handmatig labelen van 3D-bounding boxes is bijna onmogelijk zonder aanvullende 3D-data (zoals LiDAR of RGB-D), en bestaande RGB-only methoden werken vaak alleen voor stijve objecten of vereisen bekende camera-intrinsieken, wat in de wilde natuur niet haalbaar is.

Methodologie

De auteurs presenteren een end-to-end pipeline die Skinned Multi-Animal Linear (SMAL) modellen gebruikt om hoogwaardige 3D-bounding box-labels te genereren voor bestaande RGB-datasets (zoals Animal3D), zonder dat multi-sensor data nodig is. De pipeline bestaat uit drie hoofdstappen:

1. Oriëntatiebewuste 3D Bounding Box Generatie

In plaats van de gebruikelijke Principal Component Analysis (PCA) te gebruiken (die faalt bij dieren door niet-representatieve kenmerken zoals staarten of symmetrie), gebruiken de auteurs een landmark-gebaseerde aanpak:

• Asdefinitie: De assen worden gedefinieerd op basis van anatomische 3D-landmark-punten: de x-as loopt anterior-posterior (kop-staart), de y-as links-rechts, en de z-as wordt afgeleid via de linkshandregel.
• Berekening: De mesh-vertices worden omgezet naar een lokaal coördinatenstelsel rond het zwaartepunt. De minimale en maximale coördinaten worden berekend met een kleine marge ($\epsilon$) om numerieke fouten te voorkomen.
• Voordeel: Deze methode is robuust tegen ruis en levert consistent georiënteerde boxes op, ongeacht de pose van het dier.

2. Camera Pose Refinement (Verfijning)

Om de 3D-boxen correct op de 2D-afbeelding te projecteren, wordt de camerapositie verfijnd:

• Initiële schatting: Gebruikmakend van het Efficient Perspective-n-Point (EPnP) algoritme en RANSAC op basis van 2D-3D landmark-correspondenties.
• Covariantie-gebaseerde onzekerheidsmodelling: Elke landmark krijgt een onzekerheidsmatrix ($\Sigma_i$) toegewezen, gebaseerd op zichtbaarheid, afstand tot de rand van de afbeelding en confidence-scores. Dit zorgt ervoor dat de optimalisatie betrouwbare punten zwaarder weegt.
• Gecombineerde kostfunctie: Een residual-functie optimaliseert de pose door zowel de reprojectiefout van de landmarks als de uitlijning met een segmentatiemasker (afgeleid van de SMAL-mesh) te minimaliseren. Dit voorkomt "flip"-fouten (waarbij het dier achter de camera lijkt te staan) en degeneratieve oplossingen.

3. Profielzichtbaarheid Analyse

Om VAB-toepassingen te ondersteunen, wordt een zichtbaarheidsmetriek toegevoegd:

• Er wordt een zichtbaarheidsvector berekend vanuit de camera naar het midden van elke zijde van de bounding box.
• Op basis van het inproduct van de normaalvector van de vlakken en de zichtbaarheidsvector wordt bepaald welke zijden (profielen) zichtbaar zijn.
• De projectieoppervlakte van de zichtbare vlakken wordt berekend (met de Shoelace-formule) om een percentage zichtbaarheid te geven.

Belangrijkste Bijdragen

1. Pipeline voor 3D-labeling: Een methode om robuuste, oriëntatiebewuste 3D-bounding boxes en zichtbaarheidsmetrieken te genereren uit enkel RGB-afbeeldingen en SMAL-modellen.
2. Verbeterde Oriëntatie: Een nieuw algoritme voor het definiëren van bounding box-assen dat anatomisch consistent is en veel stabieler is dan PCA, zelfs bij ruis in de landmark-punten.
3. Robuuste Pose Schatting: Een verfijningsstap die camera-positie en -oriëntatie optimaliseert door onzekerheidsmodelling en maskers te combineren, wat degeneratieve resultaten elimineert.
4. Zichtbaarheidsmetriek: Een nieuwe metric om te kwantificeren welke zijden van een dier zichtbaar zijn, essentieel voor profiel-specifieke biometrie.

Resultaten

De methode is geëvalueerd op het Animal3D dataset en op data opgenomen met UAV's (drones):

• Stabiliteit Oriëntatie: Bij het toevoegen van Gaussische ruis (tot 4 pixels) toonde de PCA-methode een gemiddelde rotatievariatie van 120,68°, terwijl de voorgestelde methode slechts 0,0046° varieerde (een stabiliteitswinst van >99%). De uitlijningsvariatie daalde van 0,5034 (PCA) naar bijna 0.
• Reprojectie Fout: De gemiddelde reprojectiefout daalde met 89,96% (van 75,28 pixels bij de basis-methode naar 7,56 pixels).
• Degeneratie: Het percentage degeneratieve resultaten (waarbij de box onjuist is geprojecteerd) daalde van 13,81% (basis-methode) naar 0% met de nieuwe verfijning.
• Kwaliteit: Visuele resultaten tonen aan dat de methode correcte 3D-boxen genereert die consistent zijn met de werkelijke pose van het dier, in tegenstelling tot de willekeurige oriëntatie van PCA.

Betekenis en Toekomstperspectief

Dit werk is een cruciale stap naar het ontwikkelen van monoculaire 3D-dierdetectie-algoritmen. Door het creëren van een dataset met hoogwaardige 3D-labels en zichtbaarheidsinformatie, kunnen toekomstige modellen worden getraind om niet alleen dieren te detecteren, maar ook hun oriëntatie te begrijpen. Dit opent de deur voor:

• Autonome UAV's: Drones die in real-time hun positie aanpassen om het optimale profiel van een dier vast te leggen.
• Geavanceerde Biometrie: Betere identificatie en tracking door visuele kenmerken te koppelen aan het specifieke zichtbare profiel van het dier.
• Cold-start oplossing: Het biedt een manier om 3D-labels te genereren voor nieuwe diersoorten zonder dure 3D-sensoren, zolang er een SMAL-achtig model voor die soort beschikbaar is.

De auteurs kondigen aan dat ze van plan zijn een dataset en benchmarks vrij te geven voor monoculaire 3D-dierdetectie, gebaseerd op deze pipeline.