Fusion or Confusion? Assessing the impact of visible-thermal image fusion for automated wildlife detection

Resumen Técnico: ¿Fusión o Confusión? Evaluando el impacto de la fusión de imágenes visible-térmica para la detección automatizada de la fauna silvestre

Planteamiento del problema
El monitoreo eficaz de la fauna silvestre es fundamental para la conservación de la biodiversidad, sin embargo, los métodos convencionales (observación directa, cámaras trampa) enfrentan limitaciones en cuanto a accesibilidad, sesgo del observador y eficiencia. Si bien las imágenes aéreas utilizando sensores de espectro visible (VIS) combinados con aprendizaje profundo ofrecen una alternativa prometedora, depender de una sola modalidad de sensor suele fallar al detectar especies crípticas o distinguir objetivos de fondos complejos. Las imágenes de infrarrojos térmicos (TIR) proporcionan información complementaria, particularmente para la detección de firmas de calor, pero sufren de una menor resolución espacial y campos de visión (FOV) diferentes en comparación con los sensores VIS.

El desafío central abordado en este estudio es la dificultad de alinear y fusionar los datos VIS y TIR para la detección automatizada. El desalineamiento debido a los diferentes FOV y resoluciones puede degradar el rendimiento del modelo. Además, aunque la fusión temprana (combinar imágenes al nivel de la entrada) y la fusión tardía (combinar las salidas del modelo) son conceptos conocidos, existe una falta de investigación publicada que compare estos métodos específicos en imágenes aéreas sincrónicas VIS-TIR para la detección de fauna silvestre, particularmente utilizando modelos de detección de objetos de última generación.

Metodología
Los autores realizaron un estudio de caso centrado en la Garza Azul Grande (Ardea herodias) y sus nidos en seis colonias de garzas en Quebec, Canadá. Los datos se adquirieron utilizando un dron DJI Matrice 300 equipado con un sensor Zenuse H20T, capturando imágenes sincrónicas VIS (4056 × 3040 píxeles) y TIR (640 × 512 píxeles).

La metodología consistió en tres etapas primarias:

1. Alineación de imágenes: Debido a la diferencia significativa de FOV (el VIS es aproximadamente 5 veces más grande que el TIR), las imágenes VIS fueron recortadas por el centro. Se empleó un marco de emparejamiento de características basado en aprendizaje profundo, LightGlue, para alinear automáticamente los pares VIS-TIR. Los pares con insuficientes puntos clave (≤45) o un alto error de alineación (>68 px) fueron descartados, resultando en un conjunto final de 755 pares de imágenes alineados.
2. Anotación: Los objetos fueron etiquetados con cuadros delimitadores (bounding boxes). En las imágenes VIS, las clases incluyeron "nido ocupado", "nido vacío" e "individuo aislado". En las imágenes TIR, donde los nidos rara vez son visibles, todas las garzas (aisladas o dentro de nidos) fueron etiquetadas como una única clase "garza".
3. Entrenamiento del modelo y estrategias de fusión: El estudio utilizó YOLO11n, la arquitectura YOLO más reciente al momento del análisis. Se compararon tres enfoques sobre el mismo conjunto de prueba:
   • Solo VIS: Un modelo base entrenado únicamente con imágenes visibles.
   • Fusión Temprana (Early Fusion): Las bandas VIS y TIR se fusionaron al nivel de la entrada. La imagen VIS fue convertida al espacio de color YCbCr, y se aplicó el Análisis de Componentes Principales (PCA) a las bandas R, G, B y TIR. El primer componente principal (pesadamente inclinado hacia el Rojo y el TIR) reemplazó el canal de luminancia (Y), creando una nueva imagen RGB fusionada para el entrenamiento.
   • Fusión Tardía (Late Fusion): Se entrenaron modelos independientes con datos VIS y TIR. Sus salidas de detección (cuadros delimitadores y puntuaciones) se intersectaron geométricamente. Posteriormente, se entrenó un algoritmo de Árbol de Clasificación y Regresión (CART) utilizando características que incluyen puntuaciones de clase, valores de Intersección sobre Unión (IoU) y decisiones codificadas mediante one-hot encoding para realizar la clasificación final. Este enfoque también gestionó los cuadros no intersectantes mediante la retención de detecciones de una sola modalidad.

Resultados Clave
El estudio evaluó el rendimiento utilizando la puntuación F1, precisión y exhaustividad (recall) a través del conjunto de prueba (316 nidos ocupados, 35 nidos vacíos, 20 individuos aislados).

• Rendimiento Base: El modelo solo-VIS logró una puntuación F1 general del 56.6% (promedio macro), con un fuerte desempeño en la clase mayoritaria (nido ocupado: 90.2%), pero con puntuaciones significativamente menores para las clases minoritarias (nido vacío: 44.0%; individuo aislado: 35.7%). El modelo solo-TIR logró una puntuación F1 del 85.4% para la clase "garza".
• Fusión Temprana: Este enfoque mejoró la detección de las clases minoritarias en comparación con el modelo solo-VIS (por ejemplo, los individuos aislados aumentaron al 55.6%). Redujo los falsos negativos (detecciones perdidas) al 4%, pero aumentó ligeramente los falsos positivos (9%). La puntuación F1 general fue de 64.3%.
• Fusión Tardía: Este método destacó en la detección de la clase mayoritaria, logrando la puntuación F1 más alta para nidos ocupados (93.0%) y la tasa más baja de detecciones perdidas (3%). Sin embargo, generó una tasa más alta de falsos positivos (14%) en comparación con otros métodos. Un hallazgo notable fue la capacidad del clasificador CART para identificar falsos positivos de ambas fuentes con un 90% de exhaustividad, filtrando eficazmente los errores no correlacionados.
• Pérdida de Datos: Los estrictos requisitos de alineación para la fusión temprana resultaron en el descarte del 61% de los pares de imágenes disponibles, principalmente debido a la falta de características coincidentes en fondos de agua. La fusión tardía fue menos sensible al alineamiento de píxel perfecto, permitiendo la utilización de más datos.

Significancia y Reivindicaciones
El artículo afirma ser el primero en aplicar y comparar con éxito la fusión tardía frente a la fusión temprana para la detección de fauna silvestre aérea sincrónica VIS-TIR. Los autores sostienen que, si bien los métodos de fusión generalmente ofrecen un valor añadido sobre los modelos de una sola fuente, la elección del método implica compensaciones (trade-offs):

• La Fusión Tardía se destaca como particularmente efectiva para el objetivo principal (nidos ocupados) y ofrece una mayor robustez operativa al tolerar un alineamiento de imagen imperfecto, reduciendo así la pérdida de datos.
• La Fusión Temprana muestra promesa para las clases minoritarias, pero está limitada por la necesidad de un alineamiento de píxeles preciso.
• Limitaciones Operativas: Los autores concluyen modestamente que, para los censos de la Garza Azul Grande específicamente, el valor añadido de la fusión puede no justificar aún la complejidad operativa y la pérdida de datos, dado el alto rendimiento de los modelos solo-VIS para esta especie específica durante el día. Sugieren que las técnicas de fusión podrían ser más beneficiosas para especies crípticas (ej. ciervo de cola blanca) o censos nocturnos/crepusculares donde el TIR proporciona información crítica que no está disponible en el VIS.
• Direcciones Futuras: El estudio sugiere que el uso de sensores visibles de muy alta resolución montados en aeronaves (FOV amplio) podría ser un compromiso más práctico para los censos operativos que los enfoques actuales de fusión basados en drones, los cuales están limitados por los estrechos FOV y las restricciones de alineación.

La investigación subraya el potencial del aprendizaje profundo para el monitoreo automatizado de la fauna silvestre mientras aborda de manera realista los obstáculos técnicos de la integración de datos de múltiples sensores en contextos de muestreo del mundo real.