When One Modality Is Not Enough: Multimodal Sex and Life-Stage Classification of Red Deer from Aerial RGB-Thermal Video

Imaginez que vous êtes un détective de la faune sauvage tentant de résoudre un mystère dans un puzzle géant et vivant. Votre travail ne consiste pas seulement à compter combien d'animaux se trouvent dans une forêt ; vous devez savoir qui ils sont. Sont-ils les grands pères avec des bois ? Les mères ? Ou les minuscules petits qui grandissent vite ? C'est le défi quotidien des gestionnaires de la faune qui doivent comprendre l'« arbre généalogique » d'un troupeau pour le maintenir en bonne santé. Mais voici le hic : les forêts sont capricieuses. Les arbres projettent des ombres qui cachent les animaux, et le sol peut ressembler exactement au pelage d'un cerf. Pour résoudre cela, les scientifiques utilisent des drones volant haut dans le ciel, transportant deux types d'« yeux » différents. Un œil voit le monde en couleur, comme un humain (RGB), et l'autre voit le monde en chaleur, comme une caméra de vision nocturne (Thermique). Le problème est qu'aucun de ces yeux n'est parfait seul. L'œil en couleur est perturbé par l'ombre, tandis que l'œil thermique voit un blob brillant et flou qui perd tous les détails minutieux nécessaires pour distinguer un père d'une mère. Cette étude explore une astuce ingénieuse : et si nous n'avions pas à choisir entre les deux yeux, mais plutôt à les faire travailler ensemble comme une super-équipe ?

Les chercheurs derrière cette étude ont décidé de tester cette idée sur le cerf élaphe, l'animal majestueux aux grands bois. Ils voulaient voir s'ils pouvaient construire un système informatique qui fait voler un drone au-dessus d'une forêt, repère chaque cerf, puis détermine automatiquement son espèce, son sexe et son âge. La grande question était : la combinaison des caméras couleur et thermique pourrait-elle créer une « super-vision » meilleure que chacune d'elles prise isolément, surtout lorsque les saisons changent et que les indices changent avec elles ?

Les deux yeux qui voient des mondes différents

Considérez les caméras du drone comme deux détectives ayant des compétences très différentes. Le Détective Couleur (RGB) est excellent pour repérer les détails comme la forme des bois ou le motif du pelage, mais il est facilement aveuglé par les ombres. Si un cerf se cache sous un arbre, le Détectif Couleur ne voit rien d'autre qu'une tache sombre de feuilles. Le Détective Chaleur (Thermique), quant à lui, voit la chaleur. Il ne se soucie pas des ombres ; un cerf debout dans l'obscurité est une étoile brillante et incandescente pour ce détective. Cependant, le Détectif Chaleur est un peu maladroit avec les détails. Il voit le cerf comme un blob brillant et flou. Il ne peut pas facilement dire si ce blob possède des bois ou non, et il peut parfois confondre l'animal avec des rochers chauds ou le sol.

Les chercheurs ont découvert que ces deux détectives échouent de manières opposées. En été, lorsque les bois d'un cerf mâle sont mous et recouverts de « velours » duveteux, ils sont chauds. Le Détectif Chaleur peut les voir briller, mais le Détectif Couleur pourrait les manquer si le cerf est à l'ombre. En automne, les bois durcissent et se refroidissent. Désormais, le Détectif Chaleur ne voit rien de spécial, mais le Détectif Couleur peut clairement voir la forme osseuse dure. Si vous n'aviez qu'un seul détective, vous manqueriez la moitié des indices selon la période de l'année.

La stratégie de collaboration

Au lieu de faire confiance à un seul détective, l'équipe a construit un pipeline où les deux caméras travaillent ensemble à chaque étape. Ils n'ont pas simplement mélangé les images ; ils ont fait en sorte que les ordinateurs « se parlent » en utilisant un langage spécial appelé caractéristiques DINOv3. Voyez cela comme un carnet de notes partagé où les deux détectives écrivent ce qu'ils voient, et l'ordinateur vérifie si leurs récits concordent.

Voici comment leur système fonctionne, étape par étape :

1. La double vérification : Le système ne compte un cerf comme « réel » que si les deux caméras le voient. Si la caméra Couleur voit un blob mais que la caméra Chaleur ne voit rien, le système suppose qu'il s'agit juste d'une ombre étrange ou d'un rocher, et non d'un cerf. Cela empêche le système de compter de faux animaux.
2. Le filtre : Toutes les photos d'un cerf ne sont pas bonnes. Certaines sont floues, certaines sont couvertes de feuilles, et d'autres sont simplement trop loin. Le système agit comme un éditeur strict, jetant les mauvaises images où les indices font défaut. Il ne jette pas le cerf ; il jette simplement les mauvaises photos de ce cerf.
3. Le vote : Pour les cerfs qui ont survécu au filtre, le système examine toutes les bonnes photos et procède à un vote. Si un cerf mâle est vu sur 10 photos, et que 6 d'entre elles montrent des bois clairs, le système vote « Mâle ». Même si 4 photos semblent montrer une femelle parce que les bois étaient cachés, le vote l'emporte.
4. La vérification de la taille : Pour distinguer un cerf juvénile d'une femelle adulte, le système mesure la taille du cerf. Comme le drone vole à une hauteur constante, un bébé cerf paraîtra beaucoup plus petit sur la photo qu'un adulte. Le système utilise cette différence de taille pour repérer les petits.

Les résultats : Une équipe qui gagne

L'équipe a testé son système sur quatre vols de drone différents au-dessus d'une forêt en Autriche. Ils possédaient un « corrigé » secret provenant de personnes sur le terrain qui savaient exactement quels cerfs étaient présents et ce qu'ils étaient.

Les résultats sont impressionnants. Lorsqu'ils utilisaient uniquement la caméra Couleur ou uniquement la caméra Chaleur, ils identifiaient correctement le sexe d'environ 20 cerfs sur 26. Mais lorsqu'ils ont combiné les deux ? Ils ont eu raison pour 25 cerfs sur 26. Cela représente un taux de réussite de 96,0 % pour l'identification de l'espèce, et la fusion des deux capteurs a rendu l'identification du sexe beaucoup plus fiable à travers les différentes saisons.

Le système était particulièrement efficace pour gérer les cas « délicats ». Par exemple, il y avait trois cerfs mâles que les caméras seules pensaient être des femelles parce que les indices étaient cachés. Mais parce que le système a examiné l'ensemble des preuves combinées, il a réalisé : « Attendez, la caméra Chaleur a vu un point chaud ici, et la caméra Couleur a vu une forme là », et les a correctement identifiés comme mâles.

Pourquoi cela importe

Cette étude montre que nous n'avons pas à choisir entre une caméra couleur et une caméra thermique. En les fusionnant, nous pouvons créer un recensement bien plus intelligent qu'un simple décompte. Au lieu de simplement dire, « Il y a 50 cerfs », un vol de drone peut désormais dire : « Il y a 50 cerfs : 15 pères, 30 mères et 15 petits ».

C'est un événement majeur pour les gestionnaires de la faune. Actuellement, obtenir ce genre d'informations détaillées nécessite souvent que des humains examinent manuellement les photos, ce qui prend beaucoup de temps et ne peut pas être fait pour chaque vol. Cette nouvelle méthode automatise le processus, transformant un simple comptage en un rapport détaillé sur la santé du troupeau. Elle prouve que lorsque une façon de voir le monde ne suffit pas, combiner différentes perspectives permet de révéler l'image complète, même lorsque les animaux se cachent dans l'ombre ou que les saisons changent. Le système n'est pas parfait — il éprouve encore quelques difficultés avec les très petits cerfs ou lorsque le drone vole trop haut — mais il montre qu'avec le bon travail d'équipe, nous pouvons lire l'histoire d'une forêt depuis le ciel.