Sintesi Tecnica: Ricostruzione Amodal di Immagini di Foglie Fossili

Formulazione del Problema

Le foglie fossili sono raramente preservate nella loro interezza; la roccia sedimentaria spesso oscura, frattura o erode la lamina. Sebbene la paleobotanica si basi sulla silhouette completa e sui pattern di venazione delle foglie per l'identificazione delle specie e la ricostruzione climatica, i metodi standard di segmentazione semantica e di istanza etichettano solo le porzioni visibili, lasciando il tessuto mancante non recuperato.

Questo lavoro affronta la ricostruzione amodale per i fossili fogliari: predire l'estensione spaziale completa di una foglia e la sua venazione interna da una singola immagine RGB dove parti sono nascoste dalla roccia. Il compito presenta sfide uniche rispetto alla segmentazione amodale standard (es. auto o pedoni):

1. Mancanza di template rigidi: Ogni reperto fossile ha una forma organica unica, impedendo alla rete di fare affidamento su una silhouette canonica.
2. Scarsità di dati: Le immagini reali di fossili con etichette amodali e di venazione a livello di pixel non esistono alla scala necessaria per l'addestramento di transformer a predizione densa, rendendo necessario un dataset di addestramento sintetico e il superamento del gap di dominio.
3. Strutture a basso contrasto: Le vene sottili sono facilmente confuse con crepe e venature minerali nella matrice rocciosa.
4. Assenza di input di maschera visibile: A differenza di quasi tutti i metodi amodali precedenti che richiedono una maschera visibile (ground-truth o predetta) come input per "far crescere" l'oggetto, questo setting assume che tale maschera non sia disponibile: il confine tra la foglia e la roccia è spesso ambiguo e non esiste un detector affidabile per "foglia immersa nella roccia".

Metodologia: AmodalDINO

La soluzione proposta, AmodalDINO, è un modello end-to-end di predizione densa multi-testa che prende un'immagine RGB (e un opzionale suggerimento grossolano della regione di interesse) e produce quattro maschere simultaneamente:

1. Tessuto fogliare visibile.
2. Foglia amodale completa (incluse le parti nascoste).
3. Venazione primaria amodale.
4. Vene di dettaglio fine.

Architettura e Scelte di Design

Il modello si basa su un backbone DINOv3 ViT-L/16 e un decoder DPT. Gli autori identificano due scelte di design critiche che deviano dai protocolli standard e permettono al modello di apprendere i prior strutturali della forma delle foglie:

1. Fine-Tuning Completo del Backbone: Contrariamente alla pratica standard di congelare il backbone pre-addestrato DINOv3 e addestrare solo il decoder, AmodalDINO esegue il fine-tuning completo del backbone con un tasso di apprendimento ridotto ($10^{-5}$). Gli autori sostengono che un backbone congelato estrapola solo un involucro generico a bassa frequenza. Scongelare i livelli permette al modello di adattare le feature alla geometria specifica del reperto, facendo aderire i margini alla forma reale pur preservando le capacità di generalizzazione.
2. Teste di Venazione Ausiliarie: Il modello attacca teste ausiliarie per le vene primarie e di dettaglio accanto alle teste fogliari. Gli autori postulano che un pattern di venazione coerente può essere disegnato solo su una lamina coerente. Supervisionando la nervatura centrale e le vene, il tronco condiviso è costretto a rappresentare li lobi e le sinusi, fornendo un prior strutturale che migliora la fedeltà della forma completata della foglia. Ciò aiuta anche il modello a distinguere le vere vene dalle crepe della roccia.

Funzione di Perdita (Loss Function)

L'obiettivo di addestramento impiega una perdita multi-testa orientata al completamento:

• BCE pesata sui bordi: Enfatizza i gradienti sulle strutture sottili e sui margini.
• Termini di sovrapposizione specifici per testa: Utilizza la Dice soft per le vene visibili/di dettaglio e una Tversky loss soft per le teste di completamento (foglia amodale/vene) per penalizzare l'accrescimento eccessivo nella pietra più di quanto faccia con i pixel mancanti.
• Ripesatura del Completamento: La perdita è pesata verso l'alto specificamente nella regione occlusa (dove la telecamera non vede nulla) per evitare che il modello si limiti a riprodurre la maschera visibile.
• Vincoli Strutturali Soft: Impone che la maschera visibile risieda all'interno della foglia amodale, e che entrambe le mappe di venazione risiedano all'interno della foglia.

Generazione dei Dati

A causa della mancanza di dati reali etichettati, gli autori hanno costruito un dataset sintetico utilizzando il NMNS Cleared Leaf Database. Hanno selezionato 160 foglie diverse e di alta qualità, segmentandole e tracciandone la venazione. Utilizzando Blender, queste foglie sono state compostite su modelli di pietra randomizzati con pose, illuminazione e texture variabili. La rottura è stata simulata tramite post-processing in OpenCV, risultando in 11.000 immagini di addestramento. Il modello è addestrato esclusivamente su questi dati sintetici.

Risultati

Validazione Sintetica

Sul set di validazione sintetica tenuto separato, AmodalDINO raggiunge:

• 95.0% Dice / 90.5% IoU per la foglia amodale.
• 98.5% Dice per la foglia visibile.
• 65.4% Dice per la vena primaria e 55.3% Dice per le vene di dettaglio.
  Il divario tra le prestazioni della parte visibile e quella amodale (8.0 punti di IoU) indica che il modello sta effettuando una vera allucinazione del tessuto nascosto piuttosto che una mera riconoscibilità.

Trasferimento su Fossili Reali

Nonostante sia stato addestrato solo su dati sintetici, il modello si trasferisce efficacementamente ai reperti fossili reali. I risultati qualitativi mostrano che il modello estende correttamente la lamina nella roccia, recupera una nervatura centrale coerente e distingue le foglie lobate dalle semplici ellissi.

Benchmark Pubblici (KINS e COCOA-cls)

Per validare la generalizzabilità dell'approccio, gli autori hanno rimosso il modello a due teste (visibile e foglia amodale) e rimosso il canale ROI, testandolo su standard di benchmark amodale senza alcun input di maschera visibile:

• KINS: 85.05 mIoU full / 66.65 mIoU occluso (il più alto mIoU occluso riportato nella tabella).
• COCOA-cls: 80.90 mIoU full / 38.15 mIoU occluso.
  Gli autori notano che, sebbene il modello sia competitivo sulla regione occlusa, resta indietro rispetto a metodi come Amodal SAM su COCOA-cls, probabilmente a causa della mancanza di un forte prior di forma specifico per categoria nel loro setting "category-free" relativo alle foglie.

Deployment e Quantizzazione

Il modello è stato implementato con successo in due modi:

1. In-Browser: Quantizzato a pesi a 4-bit (riducendo la dimensione da ~1.27 GB a ~269 MB) ed eseguito interamente offline tramite ONzione Runtime Web. Mantiene un IoU di 0.910 rispetto al riferimento FP32 sui fossili reali.
2. Pipeline Locale GPU: Include una calibrazione basata su righello per la stima della superficie e una fase di visualizzazione generativa opzionale utilizzando un modello di diffusione Flux.2 per renderizzare foglie "viventi" basate sulle maschere ricostruite.

Contributi Chiave

1. Formulazione del Problema: Definizione del compito di ricostruzione amodale congiunta di silhouette fogliari e venazione da una singola immagine RGB senza input di maschera visibile.
2. Architettura del Modello (AmodalDINO): Un modello end-to-end che non richiede segmentatore di istanze a monte o maschera visibile, predendo congiuntamente le regioni visibili e amodali.
3. Insight di Design: Identificazione del fatto che il fine-tuning completo di un backbone auto-supervisionato (inveve di congelarlo) e l'uso di teste strutturali ausiliarie (venazione) sono critici per apprendere i prior di forma in scenari con scarsità di dati e privi di categoria.
4. Ricetta Riproducibile: Fornitura di una pipeline completa che include la generazione di dati sintetici, un piano di apprendimento a due velocità e un peso specifico della loss.
5. Deployment Pratico: Dimostrazione di un sistema di inferenza quantizzato, basato su browser, con calibrazione tramite righello e visualizzazione generativa.

Significato e Limitazioni

Il paper sostiene che il metodo proposto riesce a recuperare le parti "invisibili" dei fossili fogliari, consentendo ai paleobotanici di ragionare su organi completi partendo da osservazioni parziali. Il significato risiede nel dimostrare che un modello di base, quando opportunamente adattato (backbone sbloccato + supervisione strutturale), può estrapolare forme organiche complesse senza template rigidi o maschere visibili.

Gli autori riconoscono diverse limitazioni:

• Assunzione di Singola Foglia: Il modello assume implicitamente una sola foglia per immagine; fonde più esemplari sovrapposti in una singola silhouette, sebbene possa comunque riconoscere nervature centrali distinte.
• Gap di Dominio: L'addestramento è interamente sintetico e, sebbene il trasferimento sia buono, la venazione fine sotto forte occlusione rimane inaffidabile.
• Risoluzione: La risoluzione fissa di 448x448 comprime l'informazione originale.
• Visualizzazione Generativa: Il rendering della "foglia vivente" è attualmente a scopo illustrativo e può allucinare dettagli.

Gli autori concludono che le scoperte principali — lo sblocco del backbone e l'uso di compiti strutturali ausiliari — possono essere applicabili ad altri problemi legati all'amodalità oltre la paleobotanica.