Resumen Técnico: Reconstrucción Amodal de Imágenes de Fósiles de Hojas

Formulación del Problema

Las hojas fósiles rara vez se preservan en su totalidad; la roca sedimentaria a menudo oscurece, fractura o erosiona el limbo. Mientras que la paleobotánica depende de la silueta completa y los patrones de venación de las hojas para la identificación de especies y la reconstruación climática, los métodos estándar de segmentación semántica e instancia solo etiquetan las partes visibles, dejando el tejido faltante sin recuperar.

Este trabajo aborda la reconstrucción amodal de fósiles de hojas: predecir la extensión espacial completa de una hoja y su venación interna a partir de una única imagen RGB donde partes de la misma están ocultas por la roca. La tarea presenta desafíos únicos en comparación con la segmentación amodal estándar (por ejemplo, para coches o peatones):

1. Falta de plantillas rígidas: Cada espécimen de fósil tiene una forma orgánica única, lo que impide que la red dependa de una silueta canónica.
2. Escasez de datos: No existen imágenes de fósiles reales con etiquetas amodales y de venación a nivel de píxel a la escala requerida para entrenar transformadores de predicción densa, lo que requiere un conjunto de datos de entrenamiento sintético y cerrar la brecha de dominio.
3. Estructuras de bajo contraste: Las venas finas son fácilmente confundibles con grietas y vetas minerales en la matriz de la roca.
4. Sin entrada de máscara visible: A diferencia de casi todos los métodos amodales previos que requieren una máscara visible (ya sea real o predicha) como entrada para "hacer crecer" el objeto, este entorno asume que no hay tal máscara disponible. El límite entre la hoja y la roca es a menudo ambiguo, y no existe un detector fiable para identificar una "hoja incrustada en la roca".

Metodología: AmodalDINO

La solución propuesta, AmodalDINO, es un modelo de predicción densa de múltiples cabezales y extremo a extremo que toma una imagen RGB (y una pista opcional de región de interés gruesa) y genera cuatro máscaras simultáneamente:

1. Tejido foliar visible.
2. Hoja amodal completa (incluyendo las partes ocultas).
3. Vena primaria amodal.
4. Venación de detalle.

Arquitectura y Elecciones de Diseño

El modelo se basa en un backbone DINOv3 ViT-L/16 y un decodificador DPT. Los autores identifican dos elecciones de diseño críticas que se desvían de los protocolos estándar y permiten al modelo aprender los sesgos estructurales de las hojas:

1. Ajuste Fino Completo del Backbone (Fully Fine-Tuning): Contrario a la práctica estándar de congelar el backbone preentrenado DINOv3 y entrenar solo el decodificador, AmodalDINO realiza un ajuste fino completo del backbone con una tasa de aprendizaje pequeña ($10^{-5}$). Los autores argumentan que un backbone congelado solo extrapola un envolvente genérico de baja frecuencia. Descongelar las capas permite que el modelo adapte las características a la geometría específica del espécimen, ajustando los márgenes al contorno real mientras preserva la capacidad de generalización.
2. Cabezales de Venación Auxiliares: El modelo añade cabezales auxiliares para las venas primarias y de detalle junto a los cabezales de la hoja. Los autores postulan que un patrón de venación coherente solo puede dibujarse sobre un limbo coherente. Al supervisar el nervio central y las venas, el tronco compartido se ve forzado a representar lóbulos y senos, proporcionando un sesgo estructural que mejora la fidelidad de la forma completada de la hoja. Esto también ayuda al modelo a distinguir las venas reales de las grietas de la roca.

Función de Pérdida

El objetivo de entrenamiento emplea una pérdida de múltiples cabezales orientada a la completitud:

• BCE ponderada por bordes: Enfatiza los gradientes en estructuras finas y márgenes.
• Términos de solapamiento específicos por cabezal: Utiliza Dice suave para las venas visibles/de detalle y una pérdida Tversky suave para los cabezales de completitud (hoja amodal/venas) para penalizar más el crecimiento excesivo hacia la piedra que la pérdida de píxeles.
• Reponderación de Completitud: La pérdida se aumenta específicamente en la región ocluida (donde la cámara no ve nada) para evitar que el modelo simplemente reproduzca la máscara visible.
• Restricciones Estructurales Suaves: Fuerza a que la máscara visible esté contenida dentro de la hoja amodal, y que ambos mapas de venas estén dentro de la hoja.

Generación de Datos

Debido a la falta de datos reales etiquetados, los autores construyeron un conjunto de datos sintético utilizando la Base de Datos de Hojas Despejadas NMNS. Seleccionaron 160 hojas diversas de alta calidad, las segmentaron y trazaron su venación. Usando Blender, estas hojas fueron compuestas sobre modelos de piedra aleatorios con variaciones de pose, iluminación y texturas. La rotura se simuló mediante post-procesamiento en OpenCV, resultando en 11,000 imágenes de entrenamiento. El modelo se entrena exclusivamente con estos datos sintéticos.

Resultados

Validación Sintética

En el conjunto de validación sintética reservado, AmodalDINO logra:

• 95.0% Dice / 90.5% IoU para la hoja amodal.
• 98.5% Dice para la hoja visible.
• 65.4% Dice para la vena primaria y 55.3% Dice para las venas de detalle.
  La brecha entre el rendimiento de la hoja visible y la amodal (8.0 puntos de IoU) indica que el modelo está realizando una verdadera alucinación de tejido oculto en lugar de una mera reconocimiento.

Transferencia a Fósiles Reales

A pesar de haber sido entrenado únicamente con datos sintéticos, el modelo se transfiere eficazmente a especímenes de fósiles reales. Los resultados cualitativos muestran que el modelo extiende correctamente el limbo hacia la roca, recupera un nervio central coherente y distingue hojas lobuladas de elipses simples.

Benchmarks Públicos (KINS y COCOA-cls)

Para validar la generalizabilidad del enfoque, los autores redujeron el modelo a dos cabezales (hoja visible y amodal) y eliminaron el canal de ROI, probándolo en benchmarks amodales estándar sin ninguna entrada de máscara visible:

• KINS: 85.05 mIoU total / 66.65 mIoU ocluido (el mIoU ocluido más alto reportado en la tabla).
• COCOA-cls: 80.90 mIoU total / 38.15 mIoU ocluido.
  Los autores señalan que, aunque el modelo es competitivo en la región ocluida, queda por detrás de métodos como Amodal SAM en COCOA-cls, probablemente debido a la falta de un sesgo de forma específico de la categoría en su configuración "libre de categorías" de hojas.

Despliegue y Cuantización

El modelo se desplegó con éxito de dos maneras:

1. En el Navegador: Cuantizado a pesos de 4 bits (reduciendo el tamaño de ~1.27 GB a ~269 MB) y ejecutándose totalmente offline mediante ONNX Runtime Web. Mantiene un IoU de 0.910 respecto a la referencia FP32 en fósiles reales.
2. Pipeline Local de GPU: Incluye calibración basada en reglas para la estimación del área superficial y una etapa de visualización generativa opcional utilizando un modelo de difusión Flux.2 para renderizar hojas "vivas" basadas en las máscaras reconstruidas.

Contribuciones Clave

1. Formulación del Problema: Se definió la tarea de reconstrucción amodal conjunta de siluetas de hojas y venación a partir de una única imagen RGB sin entrada de máscara visible.
2. Arquitectura del Modelo (AmodalDINO): Un modelo de extremo a extremo que no requiere un segmentador de instancias previo ni una máscara visible, prediciendo regiones visibles y amodales de forma conjunta.
3. Perspectivas de Diseño: Se identificó que el ajuste fino completo de un backbone auto-supervisado (en lugar de congelarlo) y el uso de cabezales estructurales auxiliares (venación) son críticos para aprender sesgos de forma en escenarios con escasez de datos y libres de categorías.
4. Receta Reproducible: Se proporciona un pipeline completo que incluye la generación de datos sintéticos, un esquema de aprendizaje de dos tasas y una ponderación de pérdida específica.
5. Despliegue Práctico: Se demostró un sistema de inferencia cuantizado basado en navegador con calibración basada en reglas y visualización generativa.

Significado y Limitaciones

El artículo afirma que el método propuesto recupera con éxito las partes "invisibles" de los fósiles de hojas, permitiendo a los paleobotánicos razonar sobre órganos completos a partir de observaciones parciales. La importancia radica en demostrar que un modelo fundacional, cuando se adapta adecuadamente (backbone descongelado + supervisión estructural), puede extrapolar formas orgánicas complejas sin plantillas rígidas ni máscaras visibles.

Los autores reconocen varias limitaciones:

• Suposición de Hoja Única: El modelo asume implícitamente una hoja por imagen; fusiona múltiples especímenes superpuestos en una sola silueta, aunque aún puede reconocer nervios centrales distintos.
• Brecha de Dominio: El entrenamiento es enteramente sintético y, aunque la transferencia es buena, la venación fina bajo una oclusión severa sigue siendo poco fiable.
• Resolución: La resolución fija de 448x448 comprime la información original.
• Visualización Generativa: El renderizado de la "hoja viva" es actualmente para fines ilustrativos y puede alucinar detalles.

Los autores concluyen que los hallazgos centrales —descongelar el backbone y utilizar tareas estructurales auxiliares— pueden ser aplicables a otros problemas relacionados con la amodalidad más allá de la paleobotánica.