💻 computer science

Learning to Label: A Reinforced Self-Evolving Framework for Semi-supervised Referring Expression Segmentation

Cet article propose Learning to Label (L2L), un cadre auto-évoluant renforcé qui exploite les grands modèles de langage multimodaux pour des a priori sémantico-spatiaux et formule la sélection de pseudo-étiquettes comme un processus de prise de décision adaptatif afin d'améliorer la segmentation par expression de référence semi-supervisée dans des conditions d'annotation limitée.

Auteurs originaux : Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Runlong Cao, Ying Zang, Chuanwei Zhou, Tianrun Chen, Tong Zhang, Zhen Cui, Chunyan Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'enseigner à un robot à trouver des objets spécifiques dans une photo à partir d'une phrase que vous lui donnez, comme « le chien portant un collier rouge » ou « la part de pizza sur la gauche ». Cette tâche s'appelle la Segmentation par Expression de Référence. Le robot doit dessiner un contour parfait autour de cet objet exact.

Habituellement, pour enseigner cela à un robot avec autant de précision, vous avez besoin de milliers de photos où un humain a patiemment dessiné ces contours à la main. C'est coûteux et lent. L'apprentissage semi-supervisé est une solution de contournement : vous donnez au robot quelques photos avec des contours parfaits (données étiquetées) et une énorme pile de photos sans aucun contour (données non étiquetées), en espérant que le robot puisse déduire le reste par lui-même.

Le problème ? Lorsque le robot tente de deviner les contours pour les photos non étiquetées, il se perd souvent. Il pourrait dessiner un cercle autour du chien entier au lieu du seul collier, ou il pourrait se laisser distraire par un objet d'apparence similaire. Si vous dites simplement au robot : « D'accord, fais confiance à tes propres hypothèses », il apprend souvent de ses propres erreurs, créant un cycle d'erreurs.

Ce papier présente un nouveau cadre appelé Apprendre à Étiqueter (L2L). Imaginez-le comme un système de tutorat intelligent et auto-correcteur. Voici comment il fonctionne, décomposé en trois parties simples :

1. Le « Super-Observateur » (MLLM)

D'abord, le système fait appel à un « Super-Observateur » — une intelligence artificielle massive et pré-entraînée (appelée Modèle de Langage Multimodal à Grande Échelle ou MLLM) qui est très bonne pour comprendre le langage et les images, mais qui n'est pas parfaite.

L'Analogie : Imaginez que vous essayez de trouver une personne spécifique dans un stade bondé. Vous demandez de l'aide à un ami super-intelligent (le MLLM). Votre ami dit : « Je pense que c'est le gars au chapeau bleu. » Mais votre ami peut se tromper parfois, ou peut-être qu'il regarde la mauvaise personne.
L'Affirmation du Papier : Le système utilise ce Super-Observateur pour obtenir un « premier jet » de l'emplacement possible de l'objet. Il ne fait pas aveuglément confiance à ce brouillon ; il l'utilise simplement comme un indice de départ.

2. La « Station de Calibration » (SPM)

Maintenant, le système a deux opinions : le premier jet du Super-Observateur et la propre hypothèse du robot. Parfois, ils sont d'accord ; parfois, ils divergent radicalement.

L'Analogie : Imaginez que vous et votre ami regardez tous les deux une carte. Votre ami dit : « Tournez à gauche », mais vous dites : « Tournez à droite ». Si vous choisissez simplement l'un ou l'autre, vous pourriez vous perdre. Au lieu de cela, ce système agit comme une Station de Calibration. Il examine comment chacun de vous est confiant. Si votre ami est sûr à 95 % mais que vous n'êtes sûr qu'à 25 %, il penche vers votre ami. Mais si vous êtes sûr à 98 % et que votre ami n'est sûr qu'à 40 %, il vous fait confiance.
L'Affirmation du Papier : Le système mélange ces deux opinions, en les pondérant en fonction du degré de certitude de chaque source. Cela crée un guide « calibré » plus fiable que l'un ou l'autre pris isolément.

3. Le « Filtre Intelligent » (RPLE)

C'est la partie la plus unique. Habituellement, les ordinateurs utilisent une règle fixe pour décider quelles hypothèses sont suffisamment bonnes pour être utilisées dans l'entraînement (par exemple : « Ne faites confiance qu'aux hypothèses sûres à 80 % »).

L'Analogie : Imaginez un professeur strict qui dit : « J'accepterai les devoirs uniquement si vous avez obtenu 80 % de bonnes réponses. » C'est mauvais car parfois une question difficile vaut 100 % d'effort même si vous n'avez obtenu que 60 %, et parfois une question facile est un coup de chance.
L'Affirmation du Papier : Au lieu d'une règle fixe, L2L utilise un agent d'Apprentissage par Renforcement (comme un personnage de jeu vidéo apprenant par essai et erreur). Cet agent agit comme un Filtre Intelligent. Il observe le processus d'entraînement et demande : « Cette hypothèse est-elle utile en ce moment ? »
- Si le robot lutte avec une image difficile, le filtre pourrait dire : « Soyons un peu plus indulgents et utilisons cette hypothèse pour aider le robot à apprendre. »
- Si le robot est confiant mais que l'hypothèse est bruitée, le filtre dit : « Non, ignorez cela. »
- Le filtre apprend à ajuster dynamiquement sa propre « sévérité », récompensant le robot pour les bons progrès et le punissant pour l'apprentissage à partir de mauvaises données.

Le Résultat : Une Boucle Auto-Évolutive

L'ensemble du système fonctionne en boucle :

Le robot fait une hypothèse.
Le Super-Observateur donne un indice.
La Station de Calibration les fusionne.
Le Filtre Intelligent décide quelles parties de cette fusion sont assez dignes de confiance pour enseigner au robot.
Le robot apprend à partir des données filtrées, s'améliore, et le cycle se répète.

Ce que le Papier a Découvert :
Les auteurs ont testé cela sur trois ensembles de données standard (RefCOCO, RefCOCO+ et RefCOCOg) avec très peu de données étiquetées (aussi peu que 0,1 % des images au total).

L'Affirmation : Leur méthode (L2L) a systématiquement surpassé les méthodes existantes. Même avec presque aucune donnée étiquetée, elle a mieux fonctionné que les méthodes « zero-shot » (modèles qui tentent d'accomplir la tâche sans aucun exemple d'entraînement).
La Conclusion : En traitant la sélection des données d'entraînement comme une « décision d'apprentissage » plutôt que comme une règle fixe, et en utilisant un Super-Observateur pour guider le processus, le système peut apprendre à s'étiqueter lui-même avec beaucoup plus de précision et de fiabilité.

En bref, le papier affirme qu'en enseignant à l'ordinateur comment choisir ses propres exemples d'entraînement à l'aide d'un filtre intelligent et adaptatif et d'un assistant IA utile (mais imparfait), nous pouvons construire de meilleurs systèmes de vision avec beaucoup moins d'effort humain.

Résumé Technique : Apprendre à Étiqueter (L2L)

Énoncé du Problème

La segmentation sémantique de références semi-supervisée (SS-RES) vise à réaliser un ancrage linguistique précis au niveau des pixels en utilisant un petit ensemble de paires image-texte étiquetées et un large pool de données non étiquetées. Bien que les méthodes existantes de segmentation semi-supervisée reposent sur l'étiquetage par pseudo-étiquettes et la régularisation par cohérence, l'application directe de ces paradigmes à la SS-RES est difficile en raison de l'ambiguïté référentielle, de l'occlusion et de la nécessité d'un raisonnement contextuel à longue portée. Ces facteurs entraînent souvent une incertitude aux frontières et des pseudo-masques instables.

Les approches actuelles filtrent généralement les pseudo-étiquettes à l'aide d'un seuil de confiance fixe. Cependant, cette heuristique est fragile : des seuils trop stricts éliminent des échantillons informatifs, tandis que des seuils trop lâches introduisent une supervision bruyante qui contamine l'entraînement. De plus, des travaux récents exploitent les grands modèles de langage multimodaux (MLLM) et les modèles de fondation (par exemple, SAM) pour générer des a priori externes. Pourtant, ces a priori ne sont pas toujours fiables ; les MLLM peuvent halluciner ou souffrir d'une dérive d'ancrage, et les modèles de segmentation peuvent sur-segmenter ou se laisser distraire. Crucialement, il existe souvent un désaccord significatif, dépendant de l'échantillon, entre la confiance de l'a priori MLLM et les propres prédictions du modèle de segmentation, rendant les stratégies à seuil fixe inefficaces.

Méthodologie

Les auteurs proposent Apprendre à Étiqueter (L2L), un cadre auto-évolutif renforcé qui reformule la construction de pseudo-étiquettes comme un processus de prise de décision apprenable. Le cadre fonctionne en boucle fermée où les a priori multimodaux, la sélection de pseudo-étiquettes et le réseau de segmentation co-évoluent. L'architecture se compose de trois composants principaux :

1. A priori Sémantique-Spatial avec MLLM (SPM)

Pour initialiser des propositions de segmentation floues, L2L exploite un MLLM aux paramètres figés pour extraire des indices d'ancrage sémantique pour les paires image-texte non étiquetées. Ces indices incitent SAM2 à générer des propositions de segmentation denses et floues ( $P^\dagger_i$ ) tout en préservant l'incertitude.

Calibration consciente de l'incertitude : Reconnaissant que les a priori externes et les prédictions du modèle ( $P^w_i$ $P_{i}^{w}$ ) peuvent entrer en conflit, le SPM les fusionne dans l'espace des logits en utilisant un poids adaptatif aux pixels $\lambda(u)$ $λ (u)$ . Ce poids est calculé sur la base de :
- Certitude au niveau du pixel : Un score basé sur la marge $C(p)$ qui augmente à mesure que les prédictions s'éloignent de l'ambiguïté (0,5).
- Accord au niveau de l'échantillon : Un score de cohérence global $W$ mesurant l'accord entre la prédiction faible et l'a priori externe.
Fusion : L'a priori calibré $\tilde{P}^\dagger_i$ est généré en pondérant les logits de l'a priori externe et de la prédiction du modèle. Cela garantit que le modèle s'appuie davantage sur l'a priori externe lorsqu'il est incertain, mais supprime l'a priori lorsque le modèle est confiant ou lorsque l'accord global est faible.

2. Module de Segmentation Auto-Évolutif (SESM)

Le SESM intègre l'a priori calibré dans un réseau de segmentation hiérarchique. Au lieu d'une fusion statique, il emploie un mécanisme de commutation adaptatif aux étapes pour injecter des guidages sémantiques et structurels.

Double Guidage : Le module combine un champ sémantique ( $S$ ) issu de l'encodeur de texte et un champ structurel ( $G_j$ ) dérivé de l'a priori au niveau du pixel.
Commutation Dynamique : Un signal de conditionnement unifié $M_j$ est synthétisé via des facteurs de commutation par étape apprenables ( $\alpha_j, \beta_j$ ) qui équilibrent la désambiguïsation sémantique de haut niveau et le raffinement structurel de bas niveau.
Interaction Dépendante de l'Étape : Pour les étapes peu profondes, le champ structurel est appliqué via une projection locale stricte pour préserver la correspondance spatiale. Pour les étapes profondes, un raisonnement relationnel global est activé via l'attention croisée.
Auto-Évolution : Le guidage structurel est mis à jour itérativement à mesure que les prédictions faibles du modèle s'améliorent, réduisant progressivement le bruit et augmentant la fiabilité.

3. Exploration Renforcée des Pseudo-Étiquettes (RPLE)

Pour remédier à la sous-optimalité des seuils fixes, le RPLE formule l'acceptation des pseudo-étiquettes comme un processus de décision par apprentissage par renforcement (RL).

Représentation de l'État : L'état $s_t$ comprend des caractéristiques statistiques de la prédiction fusionnée (moyenne, écart-type), les proportions de pixels premier plan/arrière-plan/ignorés, et le score d'accord au niveau de l'échantillon.
Recherche de Politique : Un réseau Acteur ( $\pi_\phi$ ) produit des seuils de confiance adaptatifs pour le premier plan et l'arrière-plan ( $\tau_{fg}, \tau_{bg}$ ) pour chaque échantillon.
Critique et Récompense : Un réseau Critique ( $Q_\phi$ $Q_{ϕ}$ ) évalue les pseudo-étiquettes sélectionnées. La récompense est définie comme un Gain Instructionnel ( $\Delta\Phi_t$ $Δ Φ_{t}$ ) comprenant trois composantes :
- Gain de Séparabilité ( $\Delta M$ ) : Mesure le contraste de frontière entre le premier plan et l'arrière-plan.
- Gain de Cohérence ( $\Delta K$ ) : Mesure l'accord entre la prédiction du modèle et l'a priori calibré.
- Gain de Couverture ( $\Delta C$ ) : Mesure la fraction de pixels sélectionnés.
- Une pénalité de stabilité est appliquée pour empêcher les changements erratiques des seuils.
Optimisation : La politique est optimisée via des gradients de politique déterministes pour maximiser le score de qualité cumulatif attendu, équilibrant dynamiquement précision et couverture tout au long de l'entraînement.

Contributions Clés

Cadre d'Apprentissage à Étiqueter : Les auteurs introduisent L2L, qui transforme la construction de pseudo-étiquettes d'un processus de seuillage statique en un processus de prise de décision apprenable et adaptatif aux échantillons, permettant une exploitation plus fiable de la supervision au niveau des pixels sous des annotations éparses.
A Priori Pilotés par MLLM et Calibration : Le travail introduit des a priori sémantico-spatiaux pilotés par MLLM pour initialiser la segmentation floue et propose un mécanisme de sélection renforcé qui identifie de manière adaptative une supervision à haute utilité en fusionnant les a priori multimodaux avec les prédictions du modèle.
Validation Empirique : Des expériences extensives sur RefCOCO, RefCOCO+ et RefCOCOg démontrent des améliorations constantes par rapport aux méthodes semi-supervisées et aux méthodes de référence existantes à travers divers budgets d'étiquettes (de 0,1 % à 10 %).

Résultats Expérimentaux

Performance : L2L obtient des résultats de l'état de l'art sur tous les jeux de données et tous les budgets d'étiquettes. Notamment, dans le régime d'étiquettes extrêmement faible (0,1 % de données étiquetées), L2L surpasse les homologues zero-shot et les bases de référence semi-supervisées existantes (par exemple, RESMatch, SemiRES).
Études d'Ablation :
- La suppression individuelle de SPM, SESM ou RPLE entraîne une dégradation des performances, confirmant la nécessité d'une fusion consciente de l'incertitude, d'un guidage hiérarchique et d'un seuillage adaptatif.
- La stratégie de pondération dans SESM (commutation dynamique) surpasse la fusion à poids fixe, validant la nécessité d'équilibrer dynamiquement les indices sémantiques et structurels.
- Le RPLE surpasse significativement le seuillage statique, qui s'avère très sensible au choix des valeurs de seuil.
Robustesse : La méthode est robuste aux variations dans le choix des modèles de fondation (par exemple, SAM vs SAM2, différents backbones MLLM) et reste efficace même lorsque les a priori MLLM sont remplacés par des enseignants non-MLLM (par exemple, CARIS, CGFormer).
Efficacité : Les paramètres supplémentaires entraînables introduits par L2L sont modestes (~9,3 M), et les composants RL sont légers, ajoutant un coût d'inférence négligeable puisque les modèles de fondation restent figés.

Importance et Revendications

L'article revendique que L2L fournit une solution robuste pour la construction de systèmes de segmentation de références efficaces en données sous des coûts d'annotation extrêmement faibles. En traitant l'étiquetage par pseudo-étiquettes comme un processus renforcé et auto-évolutif, le cadre atténue efficacement la fragilité des heuristiques à seuil fixe et la fiabilité des a priori externes. Les auteurs affirment que leur approche permet l'optimisation conjointe du modèle de segmentation et des pseudo-étiquettes, améliorant progressivement la fiabilité des étiquettes. Le travail est présenté comme une étape vers des systèmes de SS-RES généralisables capables d'exploiter les capacités de raisonnement des MLLM sans être entravés par leurs potentielles hallucinations ou dérives d'ancrage.