Technische Samenvatting: Amodal Reconstructie van Bladfossielafbeeldingen

Probleemformulering

Bladfossielen worden zelden in hun geheel bewaard; sedimentair gesteente verbergt, breekt of erodeert vaak het bladblad (lamina). Terwijl de paleobotanie vertrouwt op het volledige silhouet en de nervatuur van bladeren voor soortidentificatie en klimaatreconstructie, labelen standaard semantische en instantiesegmentatiemethoden alleen de zichtbare delen, waardoor het ontbrekende weefsel onhersteld blijft.

Dit werk behandelt amodale reconstructie voor bladfossielen: het voorspellen van de volledige ruimtelijke omvang van een blad en de interne nervatuur vanuit een enkele RGB-afbeelding waar delen verborgen zijn door gesteente. De taak brengt unieke uitdagingen met zich mee vergeleken met standaard amodale segmentatie (bijv. voor auto's of voetgangers):

1. Gebrek aan rigide sjablonen: Elk fossiel specimen heeft een unieke organische vorm, wat voorkomt dat het netwerk kan vertrouwen op een canoniek silhouet.
2. Datascarciteit: Echte fossielafbeeldingen met pixel-niveau amodale en nervatuurlabels bestaan niet op de schaal die vereist is voor het trainen van dense-prediction transformers, wat een synthetische trainingsdataset en het overbruggen van een domeingap noodzakelijk maakt.
3. Lage-contraststructuren: Dunne nerven worden gemakkelijk verward met scheuren en minerale aders in de rotsmatrix.
4. Geen zichtbare maskerinput: In tegenstelling tot bijna alle voorgaande amodale methoden die een grondwaarheid of voorspeld zichtbaar masker als input vereisen om het object te laten "groeien", gaat deze setting ervan uit dat er geen dergelijk masker beschikbaar is. De grens tussen het blad en het gesteente is vaak ambigu, en er bestaat geen betrouwbare detector voor "blad ingebed in gesteente".

Methodologie: AmodalDINO

De voorgestelde oplossing, AmodalDINO, is een end-to-end multi-head dense-prediction model dat een RGB-afbeelding (en een optionele, grove region-of-interest hint) neemt en vier maskers gelijktijdig produceert:

1. Zichtbaar bladweefsel.
2. Volledig amodaal blad (inclusclusief verborgen delen).
3. Amodale primaire nervatuur.
4. Fijne detailnervatuur.

Architectuur en Ontwerpkeuzes

Het model is gebouwd op een DINOv3 ViT-L/16 backbone en een DPT decoder. De auteurs identificeren twee cruciale ontwerpkeuzes die afwijken van standaardprotocollen en de model in staat stellen de structurele vormprioriteiten van bladeren te leren:

1. Volledige Fine-tuning van de Backbone: In tegenstelling tot de standaardpraktijk waarbij de voorgetrainde DINOv3 backbone bevroren wordt en alleen de decoder wordt getraind, voert AmodalDINO een volledige fine-tuning uit van de backbone met een kleine leersnelheid ($10^{-5}$). De auteurs argumenteren dat een bevroren backbone slechts een generieke, laagfrequente enveloppe extrapoleert. Het ontdooien van de lagen stelt het model in staat de kenmerken aan te passen aan de specifieke geometrie van het specimen, waarbij de marges worden vastgezet aan de werkelijke vorm terwijl de generalisatiecapaciteiten behouden blijven.
2. Auxiliaire Nervatuur-heads: Het model koppelt hulp-heads voor primaire en detailnerven aan de blad-heads. De auteurs stellen dat een coherent nervatuurpatroon alleen getekend kan worden op een coherent bladblad. Door de middennerf en de nerven te superviseren, wordt de gedeelde trunk gedwongen om lobben en sinussen te representeren, wat een structurele prior biedt die de getrouwheid van de voltooide bladvorm verbetert. Dit hel help ook het model om echte nerven te onderscheiden van rotsbarsten.

Verliesfunctie (Loss Function)

Het trainingsdoel maakt gebruik van een completion-georiënteerde multi-head loss:

• Boundary-weighted BCE: Legt de nadruk op gradiënten op dunne structuren en marges.
• Head-specifieke overlaptermen: Gebruikt soft Dice voor zichtbare/detailnerven en een soft Tversky loss voor completion-heads (amodaal blad/nerven) om meer te straffen voor overgroei in steen dan voor gemiste pixels.
• Completion Reweighting: De loss wordt specifeld verhoogd in het geoccludeerde gebied (waar de camera niets ziet) om te voorkomen dat het model simpelweg het zichtbare masker reproduceert.
• Soft Structurele Constraints: Dwingt af dat het zichtbare masker binnen het amorale blad ligt, en dat beide nervenkaarten binnen het blad liggen.

Datageneratie

Vanwege het gebrek aan gelabelde echte data hebben de auteurs een synthetische dataset geconstrueerd met behulp van de NMNS Cleared Leaf Database. Ze selecteerden 160 diverse, hoogwaardige bladeren, segmenteerden ze en traceerden hun nervatuur. Met behulp van Blender werden deze bladeren samengesteld op gerandomiseerde steenmodellen met variërende poses, belichting en texturen. Breuk werd gesimuleerd via post-processing in OpenCV, wat resulteerde in 11.000 trainingsafbeeldingen. Het model wordt uitsluitend getraind op deze synthetische data.

Resultaten

Synthetische Validatie

Op de apart gehouden synthetische validatieset bereikt AmodalDINO:

• 95,0% Dice / 90,5% IoU voor het amorale blad.
• 98,5% Dice voor het zichtbare blad.
• 65,4% Dice voor de primaire nervatuur en 55,3% Dice voor detailnerven.
  Het gat tussen de zichtbare en amorale prestaties (8,0 IoU punten) geeft aan dat het model werkelijke hallucinatie van verborgen weefsel uitvoert in plaats van louter herkenning.

Transfer naar Echte Fossielen

Ondanks dat het model uitsluitend op synthetische data is getraind, transfeert het effectief naar echte fossiele specimens. Kwalitatieve resultaten tonen aan dat het model het blad correct uitbreidt in het gesteente, een coherente middennerf herstelt en gelobde bladeren onderscheidt van eenvoudige ellipsen.

Publieke Benchmarks (KINS en COCOA-cls)

Om de generaliseerbaarheid van de aanpak te valideren, hebben de auteurs het model gestript tot twee heads (zichtbaar en amodaal blad) en de ROI-channel verwijderd, om het te testen op standaard amodale benchmarks zonder enige zichtbare maskerinput:

• KINS: 85,05 full mIoU / 66,65 occluded mIoU (hoogste gerapporteerde occluded mIoU in de tabel).
• COCOA-cls: 80,90 full mIoU / 38,15 occluded mIoU.
  De auteurs merken op dat hoewel het model competitief is op het geoccludeerde gebied, het achterblijft bij methoden zoals Amodal SAM op COCOA-cls, waarschijnlijk door het gebrek aan een sterke categorie-specifieke vormprior in hun "categorie-vrije" bladsetting.

Deployment en Kwantisatie

Het model is succesvol op twee manieren ingezet:

1. In-Browser: Gekwantiseerd naar 4-bit gewichten (verkleining van grootte van ~1,27 GB naar ~269 MB) en draait volledig offline via ONNX Runtime Web. Het behoudt een IoU van 0,910 vergeleken met de FP32 referentie op echte fossielen.
2. Lokale GPU Pipeline: Bevat liniaal-gebaseerde kalibratie voor oppervlakte-inschatting en een optionele generatieve visualisatiefase met behulp van een Flux.2 diffusiemodel om "levende" bladeren te renderen op basis van de gereconstrueerde maskers.

Belangrijkste Bijdragen

1. Probleemformulering: Definieerde de taak van gezamenlijke amorale reconstructie van bladsilhouetten en nervatuur vanuit een enkele RGB-afbeelding zonder zichtbare maskerinput.
2. Modelarchitectuur (AmodalDINO): Een end-to-end model dat geen upstream instantiesegmenteerder of zichtbaar masker vereist, en zichtbare en amorale regio's gezamenlijk voorspelt.
3. Ontwerpinzichten: Identificeerde dat het volledig fine-tunen van een zelfgesuperviseerde backbone (in plaats van het bevriezen ervan) en het gebruik van auxiliaire structurele heads (nervatuur) cruciaal zijn voor het leren van vormprioriteiten in data-arme, categorie-vrije scenario's.
4. Reproduceerbaar Recept: Biedt een volledige pipeline inclusief synthetische datageneratie, een twee-traps leerschema en specifieke loss-weging.
5. Praktische Implementatie: Demonstreert een gekwantiseerd, browser-gebaseerd inferentiesysteem met liniaal-gebaseerde kalibratie en generatieve visualisatie.

Betekenis en Beperkingen

Het artikel beweert dat de voorgestelde methode succesvol de "onzichtbare" delen van bladfossielen herstelt, waardoor paleobotanici in staat zijn om volledige organen te redeneren op basis van gedeeltelijke observaties. De betekenis ligt in het aantonen dat een foundation model, wanneer het goed wordt aangepast (unfrozen backbone + structurele supervisie), complexe organische vormen kan extrapoleren zonder rigide sjablonen of zichtbare maskers.

De auteurs erkennen verschillende beperkingen:

• Single-Leaf Assumption: Het model gaat impliciet uit van één blad per afbeelding; het voegt meerdere overlappende specimens samen tot één silhouet, hoewel het nog steeds afzonderlijke middennerven kan herkennen.
• Domeingap: Training is volledig synthetisch, en hoewel de transfer goed is, blijft fijne nervatuur onder zware occlusie onbetrouwbaar.
• Resolutie: De vaste resolutie van 448x448 comprimeert de originele informatie.
• Generatieve Visualisatie: De "levende blad" rendering is momenteel bedoeld voor illustratie en kan details hallucineren.

De auteurs concluderen dat de kernbevindingen — het ontdooien van de backbone en het gebruik van auxiliaire structurele taken — toepasbaar kunnen zijn op andere amorale-gerelateerde problemen buiten de paleobotanie.