Decoupled Pipeline with Proposal Reranking and Score Fusion for Positive-Unlabeled Marine Species Detection

Imaginez que vous êtes un détective tentant de résoudre un mystère dans une ville sous-marine géante et trouble. Votre tâche est de trouver des créatures marines spécifiques et de les nommer. Mais il y a un piège : la carte que l'on vous a donnée est truffée de trous. Les personnes qui ont dessiné la carte n'ont noté que les animaux dont elles étaient sûres, laissant des milliers d'autres poissons, oursins et méduses non marqués. Dans le monde de l'informatique, cela s'appelle l'apprentissage à « étiquettes positives non marquées » (positive-unlabeled learning). C'est comme essayer d'apprendre à quoi ressemble un « chien » en étudiant seulement des photos où quelqu'un a explicitement pointé un chien, tout en ignorant tous les autres animaux sur la photo qui pourraient être des chats ou des écureuils. Si votre ordinateur voit un chat et pense : « C'est un chien ! » parce qu'on ne lui a pas dit le contraire, il s'embrouille.

Pour rendre les choses encore plus compliquées, la cité sous-marine ressemble un peu à un rêve changeant. Les photos que vous étudiez ont été prises par un groupe de plongeurs dans une partie de l'océan, mais les photos de « test » que vous devez résoudre proviennent d'un océan complètement différent, prises avec des caméras et un éclairage différents. C'est ce qu'on appelle le « décalage de domaine » (domain shift). C'est comme essayer de reconnaître l'apparence d'un ami après n'avoir vu que des photos en noir et blanc, pour ensuite devoir l'identifier dans une vidéo haute définition en couleur. L'objectif de cette recherche est de construire un système informatique capable de repérer ces créatures marines et de les nommer correctement, même quand la carte est incomplète et que la lumière est étrange.

---

La nouvelle stratégie du détective : Diviser le travail

L'équipe de Georgia Tech, connue sous le nom de DS@GT ARC, a réalisé que vouloir tout faire en même temps était une recette pour le désastre. Imaginez demander à une seule personne d'être à la fois les yeux qui repèrent l'animal, le cerveau qui le nomme et le juge qui décide si la réponse est assez bonne. Dans leurs expériences, cette approche « tout-en-un » s'est heurtée à un mur. L'ordinateur n'arrêtait pas de se confondre avec les animaux non marqués, les prenant pour des erreurs.

Ils ont donc décidé de diviser le travail en une course de relais avec trois coureurs distincts, chacun faisant une chose avec excellence.

Coureur 1 : L'éclaireur aux yeux grands ouverts (Le Détecteur)
D'abord, ils avaient besoin de quelqu'un pour scanner tout le fond de l'océan et crier : « Hé, il y a quelque chose là ! ». Ils ont utilisé un robot pré-entraîné appelé « Megalodon » (un type de détecteur YOLO). Au lieu d'apprendre à Megalodon à apprendre de nouvelles choses à partir des données désordonnées de la compétition, ils l'ont gardé figé, comme un éclaireur vétéran qui sait déjà repérer les formes.

• L'astuce du carrelage (Tiling Trick) : Le fond de l'océan est immense, et certaines créatures marines sont minuscules. Si vous plissez les yeux en regardant une photo entière, un petit oursin ressemble à un grain de poussière. Pour corriger cela, l'équipe ne s'est pas contentée de regarder l'image entière ; elle a découpé l'image en petits carreaux (tiles) qui se chevauchent, comme une mosaïque. Cela a permis à l'éclaireur de zoomer sur les détails infimes.
• Le filtre de bordure : Parfois, une créature est coupée en deux par le bord d'un carreau. L'équipe a ajouté une règle : si une forme détectée est tronquée par le bord du carreau, on la jette. Cela a évéité à l'équipe de compter des demi-oursins comme des oursins entiers.

Coureur 2 : Le biologiste expert (Le Classificateur)
Une fois que l'éclaireur a trouvé un « quelque chose », il a transmis une photo recadrée de cet endroit au second coureur : une IA super intelligente appelée DINOv3. Le seul travail de ce coureur est de regarder la créature et de dire : « C'est un oursin » ou « C'est un poisson osseux ».

• La recette secrète : Ils n'ont pas appris à ce robot à partir de zéro. Au lieu de cela, ils ont utilisé une technique appelée « LoRA » (Low-Rank Adaptation). Voyez cela comme le fait de donner au robot un petit carnet spécialisé pour noter les règles spécifiques des 32 types de créatures marines de la compétition, sans réécrire l'intégralité de son cerveau. Cela a permis au robot de devenir un maître des détails fins, comme faire la différence entre deux types de poissons très similaires.

Coureur 3 : Le juge sceptique (Le Reranker)
Même le meilleur biologiste peut être trop sûr de lui. Parfois, un rocher bizarre peut ressembler suffisamment à un poisson pour que le biologiste dise : « Je suis sûr à 99 % que c'est un poisson ! ». L'équipe a ajouté une troisième étape pour vérifier la confiance. Ils ont construit une « tête de validité » inspirée du « Test de Turing » (un test pour voir si une machine peut tromper un humain). Ce juge demande : « Est-ce que ce candidat ressemble vraiment aux autres membres de sa classe ? ».

• Le résultat : Ce juge a agi comme une légère incitation. Il n'a pas jeté les réponses, il a simplement ajusté légèrement le classement. Si un choix était bizarre, il était descendu dans la liste. S'il semblait solide, il restait en haut.

Le score final : Mettre tout cela ensemble

L'équipe n'a pas laissé les trois coureurs crier leurs réponses. Ils ont utilisé un truc mathématique spécial appelé « fusion géométrique pondérée » pour combiner les scores. Imaginez que l'Éclaireur donne un score de certitude qu'il y a quelque chose, que le Biologiste donne un score de certitude sur le nom, et que le Juge donne un score sur la cohérence du choix. Le score final est un mélange des trois. Si l'un d'eux est faible, le score final chute, garantissant que seules les propositions les plus fortes et les plus cohérentes arrivent en tête.

Ce qu'ils ont trouvé (et ce qu'ils ont jeté)

L'équipe a mené des centaines d'expériences, et les résultats ont été un mélange de moments « eurêka ! » et de leçons du type « oups ».

• L'éclaireur figé a gagné : Ils ont essayé d'apprendre à l'éclaireur (Megalodon) à apprendre des données désordonnées, espérant qu'il s'améliorerait. Mais cela n'a pas fonctionné. L'éclaireur « figé », qui utilisait simplement ses connaissances existantes, a en réalité mieux performé dans la course finale. L'équipe a appris que tenter d'ajuster le détecteur sur des données bruitées et incomplètes rendait l'ensemble du système moins efficace.
• Le piège du « Strict » vs « Réel » : Ils ont essayé d'être super stricts, en n'acceptant que les choix qui correspondaient parfaitement aux étiquettes connues. Mais dans le monde réel (l'ensemble de test caché), de nombreuses créatures réelles n'étaient pas étiquetées dans les données d'entraînement. S'ils filtraient trop agressivement, ils jetaient accidentellement des animaux réels qui se trouvaient simplement non marqués. La leçon ? Il vaut mieux garder un filet large et laisser le système de classement trier le bon grain de l'ivraie, plutôt que de supprimer tout ce qui semble suspect.
• La séparation Public vs Privé : L'équipe avait deux versions de son système. Une version, qui incluait le « Juge sceptique » (le reranker inspiré du TTN), a très bien réussi sur le classement public et sur leurs propres tests externes. Cependant, sur le classement privé final et secret, la version plus simple (sans le juge) a gagné par une infime marge. Cela leur a appris qu'un signal qui semble utile dans un test peut ne pas être assez robuste pour le défi final, inconnu.

La vue d'ensemble

En fin de compte, le système de l'équipe s'est classé 12ème sur 102 équipes avec un score de 0,1757. Leur plus grande découverte n'était pas un nouvel super-algorithme, mais une stratégie : ne cherchez pas à corriger les données désordonnées ; contournez-les.

Ils ont découvert que séparer la tâche de « trouver » de celle de « nommer », en utilisant un détecteur figé et en s'appuyant sur un système de classement intelligent, était plus puissant que de forcer un seul modèle à tout apprendre. Ils ont également appris que dans un monde de cartes incomplètes, être trop agressif sur le filtrage des choix « douteux » est dangereux. Parfois, ce que vous pensez être une erreur est en fait un véritable trésor non marqué.

L'article suggère que, bien que les méthodes de type « étudiant-enseignant » (où un modèle intelligent enseigne à un modèle plus faible) et la création de données factices soient des idées prometteuses, elles doivent être manipulées avec une extrême prudence. Si l'enseignant n'est pas parfait, l'étudiant apprendra simplement les erreurs de l'enseignant. Pour l'instant, la solution la plus sûre est de garder le détecteur simple, de laisser le classificateur faire le gros du travail pour les noms, et d'utiliser une main légère pour classer les choix finaux.