Fusion or Confusion? Assessing the impact of visible-thermal image fusion for automated wildlife detection

Resumo Técnico: Fusão ou Confusão? Avaliando o impacto da fusão de imagens visível-térmica para a detecção automatizada de vida selvagem

Definição do Problema
O monitoramento eficaz da vida selvagem é crítico para a conservação da biodiversidade, mas os métodos convencionais (observação direta, armadilhas fotográficas) enfrentam limitações em relação à acessibilidade, viés do observador e eficiência. Embora o uso de imagens aéreas utilizando sensores de espectro visível (VIS) combinados com aprendizado profundo ofereça uma alternativa promissora, confiar em apenas uma modalidade de sensor frequentemente falha ao detectar espécies crípticas ou distinguir alvos de fundos complexos. Imagens de infravermelho térmico (TIR) fornecem informações complementares, particularmente para a detecção de assinaturas de calor, mas sofrem com menor resolução espacial e campos de visão (FOV) diferentes em comparação aos sensores VIS.

O desafio central abordado neste estudo é a dificuldade de alinhar e fundir dados VIS e TIR para detecção automatizada. O desalinhamento devido aos diferentes FOVs e resoluções pode degradar o desempenho do modelo. Além disso, embora a fusão precoce (early fusion — combinando imagens no nível de entrada) e a fusão tardia (late fusion — combinando saídas do modelo) sejam conceitos conhecidos, há uma carência de pesquisas publicadas que comparem esses métodos específicos em imagens aéreas síncronas VIS-TIR para a detecção de vida selvagem, particularmente utilizando modelos de detecção de objetos de última geração.

Metodologia
Os autores conduziram um estudo de caso focando na Garça-azul (Ardea herodias) e seus ninhos em seis garceiros no Quebec, Canadá. Os dados foram adquiridos utilizando um drone DJI Matrice 300 equipado com um sensor Zenmuse H20T, capturando imagens síncronas VIS (4056 × 3040 pixels) e TIR (640 × 512 pixels).

A metodologia envolveu três estágios primários:

1. Alinhamento de Imagem: Devido à diferença significativa de FOV (o VIS é ~5x maior que o TIR), as imagens VIS foram recortadas centralmente (center-cropped). Um framework de correspondência de características baseado em aprendizado profundo, LightGlue, foi empregado para alinhar automaticamente os pares VIS-TIR. Pares com insuficiência de pontos-chave (≤45) ou alto erro de alinhamento (>68 px) foram descartados, resultando em um conjunto final de 755 pares de imagens alinhadas.
2. Anotação: Os objetos foram rotulados com caixas delimitadoras (bounding boxes). Nas imagens VIS, as classes incluíram "ninho ocupado", "ninho vazio" e "indivíduo isolado". Nas imagens TIR, onde os ninhos são raramente visíveis, todas as garças (isoladas ou dentro de ninhos) foram rotuladas como uma única classe: "garça".
3. Treinamento de Modelo e Estratégias de Fusão: O estudo utilizou o YOLO11n, a arquitetão YOLO mais recente no momento da análise. Três abordagens foram comparadas no mesmo conjunto de teste:
   • Apenas VIS (VIS-only): Um modelo de linha de base treinado exclusivamente em imagens visíveis.
   • Fusão Precoce (Early Fusion): As bandas VIS e TIR foram fundidas no nível de entrada. A imagem VIS foi convertida para o espaço de cores YCbCr, e a Análise de Componentes Principais (PCA) foi aplicada às bandas R, G, B e TIR. A primeira componente principal (pesadamente voltada para o Vermelho e TIR) substituiu o canal de luminância (Y), criando uma nova imagem RGB fundida para treinamento.
   • Fusão Tardia (Late Fusion): Modelos independentes foram treinados em dados VIS e TIR. Suas saídas de detecção (caixas delimitadoras e pontuações) foram geometricamente intersectadas. Um algoritmo de Árvore de Classificação e Regressão (CART) foi então treinado em características que incluem pontuações de classe, valores de Interseção sobre União (IoU) e decisões codificadas em one-hot para realizar a classificação final. Esta abordagem também lidou com caixas não intersectantes, retendo detecções de uma única modalidade.

Principais Resultados
O estudo avaliou o desempenho usando o F1-score, precisão e revocação (recall) através do conjunto de teste (316 ninhos ocupados, 35 ninhos vazios, 20 indivíduos isolados).

• Desempenho de Linha de Base: O modelo apenas VIS alcançou um F1-score geral de 56,6% (média macro), com um desempenho forte na classe majoritária (ninho ocupado: 90,2%), mas pontuações significativamente menores para as classes minoritárias (ninho vazio: 44,0%; indivíduo isolado: 35,7%). O modelo apenas TIR alcançou um F1-score de 85,4% para a classe "garça".
• Fusão Precoce: Esta abordagem melhorou a detecção de classes minoritárias em comparação ao modelo apenas VIS (ex: indivíduos isolados aumentaram para 55,6%). Reduziu os falsos negativos (detecções perdidas) para 4%, mas aumentou ligeiramente os falsos positivos (9%). O F1-score geral foi de 64,3%.
• Fusão Tardia: Este método destacou-se na detecção da classe majoritária, alcançando o maior F1-score para ninhos ocupados (93,0%) e a menor taxa de detecções perdidas (3%). No entanto, gerou uma taxa de falsos positivos mais alta (14%) em comparação com outros métodos. Um achado notável foi a capacidade do classificador CART de identificar falsos positivos de ambas as fontes com 90% de revocação, filtrando efetivamente erros não correlacionados.
• Perda de Dados: Os requisitos rigorosos de alinhamento para a fusão precoce resultaram no descarte de 61% dos pares de imagens disponíveis, principalmente devido à falta de características correspondentes em fundos de água. A fusão tardia foi menos sensível ao alinhamento perfeito de pixels, permitindo a utilização de mais dados.

Significância e Alegações
O artigo afirma ser o primeiro a aplicar e comparar com sucesso a fusão tardia contra a fusão precoce para a detecção de vida selvagem aérea síncrona VIS-TIR. Os autores sustentam que, embora os métodos de fusão geralmente ofereçam valor agregado sobre modelos de fonte única, a escolha do método envolve compensações (trade-offs):

• A Fusão Tardia é destacada como particularmente eficaz para o alvo principal (ninhos ocupados) e oferece maior robustez operacional ao tolerar o alinhamento imperfeito de imagens, reduzindo assim a perda de dados.
• A Fusão Precoce mostra-se promissora para classes minoritárias, mas é limitada pela necessidade de um alinhamento preciso ao nível de pixel.
• Limitações Operacionais: Os autores concluem modestamente que, para levantamentos específicos de Garça-azul, o valor agregado da fusão pode ainda não justificar a complexidade operacional e a perda de dados, dado o alto desempenho dos modelos apenas VIS para esta espécie específica durante o dia. Eles sugerem que as técnicas de fusão podem ser mais benéficas para espécies crípticas (ex: veado-de-cauda-branca) ou levantamentos noturnos/crepusculares onde o TIR fornece informações críticas não disponíveis no VIS.
• Direções Futuras: O estudo sugere que o uso de sensores visíveis de altíssima resolução montados em aeronaves (campo de visão amplo) pode ser um compromisso mais prático para levantamentos operacionais do que as atuais abordagens de fusão baseadas em drones, que são limitadas pelos estreitos FOVs e restrições de alinhamento.

A pesquisa ressalta o potencial do aprendizado profundo para o monitoramento automatizado da vida selvagem, enquanto aborda de forma realista os obstáculos técnicos da integração de dados de múltiplos sensores em contextos de levantamento do mundo real.