Resumen Técnico: Síntesis de Nueva Vista de Alta Fidelidad Práctica de Lepidópteros Montados

Declaración del Problema

La digitalización de lepidópteros (mariposas y polillas) montados para colecciones de historia natural presenta un conjunto único de desafíos que los flujos de trabajo de escaneo 3D existentes no logran abordar. Estos especímenes son pequeños, frágiles y están cubiertos de estructuras microscópicas (pelos, escamas, venas) que requieren fotografía de macroobjetos. Sin embargo, los lentes macro poseen una profundidad de campo (DoF) extremadamente limitada, lo que deja a la mayor parte del espécimen fuera de foco en una sola toma. Además, los cuerpos de cámara estándar no pueden maniobrarse debajo de un espécimen clavado para capturar la superficie ventral (el envés) sin remover físicamente el espécimen, lo que conlleva el riesgo de un daño irreparable a la delicada unión entre el ala y el tórax. Finalmente, el espejado sintético de la superficie dorsal es insuficiente porque los patrones dorsales y ventrales suelen diferir por completo. El objetivo es crear un modelo 3D fotorrealista que sea visible desde cualquier dirección sin tocar ni mover físicamente el frágil espécimen.

Metodología

Los autores proponen un flujo de trabajo de extremo a extremo que combina tres componentes principales para superar estas restricciones físicas y computacionales:

1. Sistema de Espejo sin Contacto

Para capturar la superficie ventral sin tocar el espécimen, el sistema utiliza dos espejos de primera superficie colocados simétricamente alrededor del alfiler del espécimen sobre un sustrato de espuma. A diferencia de los espejos de segunda superficie, los espejos de primera superficie colocan el revestimiento reflectante en la cara frontal, eliminando reflejos fantasma y franjas de color. Esta configuración expone la superficie ventral a la cámara mediante reflexión mientras mantiene el espécimen estacionario e imperturbable.

2. Apilamiento de Enfoque Manual con Registro Automático

Para abordar la limitada profundidad de campo de los lentes macro, el flujo de trabajo emplea un enfoque de apilamiento de enfoque manual en lugar de un sistema de riel motorizado o montado en trípode.

• Captura: En cada punto de vista, el fotógrafo captura una ráfaga de $K=20$ fotogramas a velocidad de disparo continuo, desplazando el enfoque desde la parte más cercana hasta la más lejana del espécimen.
• Registro: Debido a que la cámara se sostiene manualmente, los fotogramas consecutivos presentan vibraciones (jitter). El sistema alinea estos fotogramas utilizando el algoritmo de Coeficiente de Correlación Mejorado (ECC). Para optimizar el contraste para la alineación, los fotogramas RGB se proyectan sobre un eje de escala de grises derivado del primer eigenvector de la matriz de covarianza de píxeles (PCA).
• Fusión: Los fotogramas alineados se combinan en una única imagen con enfoque total mediante un método de fusión de pirámide multirresolución (inspirado en la mezcla de pirámide Laplaciana), seleccionando los detalles más nítidos de cada fotograma de origen en cada escala.

3. 3D Gaussian Splatting Consciente de Espejos Libre de Segmentación

El motor de reconstrucción central es una extensión de 3D Gaussian Splatting diseñada para manejar reflexiones de espejos sin requerir máscaras de segmentación por píxel.

• Detección del Plano del Espejo: En lugar de una segmentación manual, el sistema aprovecha la simetría bilateral de la nube de puntos densa generada por MVS (Estereovisión Multivista). Crea un "clon de espejo" artificial de la nube de puntos, la registra de nuevo al original mediante el emparejamiento de características (FPFH) y RANSAC seguido de ICP de punto a plano, y extrae los parámetros del plano del espejo (normal y desfase) a partir de la transformación rígida resultante.
• Reflexión de Gaussianas: Una vez identificado el plano del espejo, el sistema refleja todas las Gaussianas 3D a través de este plano. La reflexión implica:
  • Reflejar la posición de la media ($\mu$).
  • Reflejar la orientación (cuaternión) aplicando una matriz de reflexión de Householder y corrigiendo el determinante para asegurar una rotación válida.
  • Copiar las escalas, opacidades y coeficientes de armónicos esféricos sin cambios.
• Entrenamiento: El conjunto combinado de Gaussianas originales y reflejadas se rasteriza simultáneamente. El sistema se entrena tanto en las vistas directas del espécimen como en las vistas que contienen el reflejo del espejo, aprendiendo una representación 3D única y físicamente consistente.

Contribuciones Clave

1. Imagen de Espejo sin Contacto: Un método práctico para la imagen de la superficie ventral de lepidópteros montados usando espejos de primera superficie, evitando la manipulación física de especímenes frágiles.
2. Flujo de Trabajo de Apilamiento de Enfoque Manual: Un proceso robusto que compensa el movimiento manual de la cámara mediante el registro automático de imágenes, permitiendo la captura macro con enfoque total sin necesidad de hardware especializado motorizado o trípodes.
3. 3DGS Consciente de Espejos Libre de Segmentación: Una extensión novedosa de 3D Gaussian Splatting que detecta automáticamente el plano del espejo a partir de la geometría densa y refleja las Gaussianas para reconstruir un objeto único y consistente. Esto elimina la necesidad de máscaras de segmentación manuales, que son difíciles de generar para estructuras finas como pelos o antenas.

Resultados y Evaluación

El flujo de trabajo fue validado en cuatro especímenes de mariposas diversas con variaciones en tamaño, color y tipos de montaje.

• Manejo de Desenfoque Macro: La evaluación cuantitativa (PSales de PSNR, SSIM, LPIPS) demostró que la estrategia propuesta de "adquisición y luego fusión" de apilamiento de enfoque supera significativamente a los métodos de 3DGS conscientes de la profundidad de campo (ej. DOF-GS) en datos macro. Los métodos conscientes de la DoF fallaron en recuperar detalles de alta frecuencia (escamas y venas), resultando en reconstrucciones borrosas, mientras que el apilamiento de enfoque produjo renders nítidos con enfoque total.
• Reconstrucción Consciente de Espejos: Los autores compararon su 3DGS consciente de espejos contra un baseline de 3DGS (y un enfoque de plegado post-hoc que funcionó mal debido a artefactos de fondo).
  • En las vistas dorsales (la distribución de entrenamiento), el método consciente de espejos logró métricas comparables al baseline sin restricciones. Los autores señalan que esto es esperado, ya que el baseline puede ajustar la vista dorsal y el reflejo del espejo como dos objetos independientes.
  • La ventaja decisiva aparece en las vistas ventrales (fuera de la distribución de entrenamiento). El baseline se desintegra en dos objetos desconectados, fallando al renderizar el envés correctamente. En contraste, el método propuesto mantiene una mariposa única y coherente que se renderiza correctamente desde cualquier punto de vista, incluyendo el lado ventral.

Significancia y Reclamaciones

El artículo afirma presentar una solución práctica, reproducible y de extremo a extremo para la digitalización 3D de lepidópteros montados, una tarea previamente obstaculizada por la fragilidad de los especímenes y las limitaciones ópticas de la fotografía macro. Al combinar técnicas establecidas (apilamiento de enfoque, MVS) con un enfoque geométrico novedoso libre de segmentación para el manejo de espejos en 3DGS, el sistema produce modelos 3D fotorrealistas de todo el contorno. Los autores afirman que estos modelos son adecuados para su implementación en experiencias de museos virtuales y repositorios científicos de acceso abierto, abordando una brecha crítica en la digitalización de colecciones de historia natural. El trabajo enfatiza que el método está específicamente diseñado para el "punto medio excepcionalmente desafiante" de los insectos clavados, donde los flujos de trabajo estándar para láminas planas u objetos 3D robustos son insuficientes.