🤖 AI

Teaching MLLMs to Say No: Generalized Referring Expression Comprehension via Refusal Calibrated GRPO

Cet article propose le Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO), une stratégie d'apprentissage par renforcement qui permet aux modèles de langage de grande taille multimodaux de rejeter efficacement les objets inexistants dans la compréhension de références généralisées sans compromettre leur précision de localisation sur les cibles existantes.

Auteurs originaux : Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

Publié 2026-08-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xuzheng Yang, Jun Ling, Tao Huang, Caiyan Qin, Peng Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à jouer à un jeu de « Je vois » avec un humain. L'humain pointe une image et dit : « Trouve la balle rouge. » Si la balle rouge est présente, le robot doit la pointer précisément. Mais que se passe-t-il si l'humain dit : « Trouve la balle rouge », alors que l'image montre en réalité un chat bleu ? Un robot intelligent devrait dire : « Je ne trouve pas de balle rouge ici ; il n'y en a pas. » Cependant, beaucoup de cerveaux informatiques ultra-intelligents d'aujourd'hui (appelés Modèles de Langage Multimodaux de Grande Taille) sont comme des élèves enthousiastes qui sont terrifiés à l'idée d'avoir tort. Ils sont si désespérés de donner une réponse que, lorsqu'ils ne voient pas la balle rouge, ils se contentent de deviner quand même, en pointant le chat bleu et en affirmant : « C'est ici ! » C'est ce qu'on appelle une « hallucination » : inventer des faits qui ne sont pas vrais.

Cet article s'attaque à une version spécifique et délicate de ce problème appelée « Compréhension de l'Expression de Référence Généralisée ». C'est une façon sophistiquée de dire : « Le robot peut-il trouver l'objet s'il est présent, et peut-il honnêtement dire "Je ne le vois pas" s'il ne l'est pas ? » Les chercheurs ont découvert que si ces robots sont excellents pour trouver des choses, ils sont terribles pour admettre quand des choses sont manquantes. Si vous entraînez simplement les robots à dire « non » plus souvent, ils deviennent trop craintifs et cessent de trouver les choses qui sont pourtant bien présentes. L'équipe avait besoin d'un moyen d'enseigner au robot à dire « non » uniquement quand c'est vraiment nécessaire, sans qu'il oublie comment dire « oui » quand il a raison.

Les auteurs de cet article proposent une nouvelle méthode d'entraînement ingénieuse appelée Refusal-Calibrated Group Relative Policy Optimization (RC-GRPO). Voyez le processus d'apprentissage du robot comme un jeu de « Chaud ou Froid ». Habituellement, le robot reçoit un score basé sur la proximité de sa supposition. Mais quand l'objet est absent, le robot continue de deviner de toute façon, donc il n'apprend jamais la bonne réponse. La première astuce des chercheurs a été de forcer le robot à dire « Aucun, je ne le vois pas » pendant ses séances d'entraînement, même s'il voulait deviner. Cela a donné au robot une « récompense » claire pour avoir dit la chose juste lorsque l'objet était manquant.

Cependant, ils ont réalisé que s'ils complimentaient simplement le robot pour avoir dit « Aucun », celui-ci commencerait à dire « Aucun » pour tout, même quand l'objet était présent. Pour corriger cela, ils ont ajouté une règle spéciale : si le robot dit « Aucun » alors qu'un objet est réellement présent, il reçoit une grosse pénalité. C'est comme dire au robot : « Il est acceptable de dire que tu ne vois pas la balle si la balle n'est pas là, mais si tu dis que tu ne la vois pas alors qu'elle est juste devant toi, tu perds des points. » Ils ont également ajouté une deuxième étape où le robot doit expliquer pourquoi il pense que l'objet est manquant (par exemple, « Je ne vois pas de balle rouge car il n'y a qu'un chat bleu »). Cela force le robot à réellement comprendre l'image plutôt que de simplement mémoriser un motif.

Les résultats montrent que cette méthode fonctionne très bien. Lorsqu'ils ont testé leur nouvelle méthode sur trois tests différents et exigeants, les robots sont devenus bien meilleurs pour trouver des objets et pour refuser de deviner quand ils n'étaient pas là. Par exemple, lors d'un test, leur méthode a amélioré la précision globale du robot de 45 % à 62 %, et elle a même surpassé d'autres méthodes avancées par une marge significative. L'article suggère que cette approche aide le robot à trouver un équilibre parfait : il cesse d'inventer de faux emplacements pour les objets manquants, mais ne perd pas sa capacité à trouver les objets réels. C'est un pas vers une IA qui n'est pas seulement intelligente, mais aussi honnête sur ce qu'elle voit et sur ce qu'elle ne voit pas.

Résumé Technique : Enseigner aux MLLM à dire non via le GRPO calibré pour le refus

Énoncé du Problème

L'article traite du défi encore peu exploré de la Compréhension de l'Expression de Référence Généralisée (GREC - Generalized Referring Expression Comprehension). Contrairement à la Compréhension de l'Expression de Référence (REC) traditionnelle, qui suppose que l'objet cible existe toujours, la GREC exige que les Modèles de Langage Multimodaux (MLLM) accomplissent deux tâches distinctes :

Localisation Positive : Localiser avec précision un objet décrit par une expression textuelle lorsqu'il est présent dans l'image.
Refus Négatif : Identifier et refuser correctement la localisation lorsque l'objet décrit est absent ou lorsqu'il y a une inadéquation dans les attributs ou les relations (par exemple, un « cheval blanc » dans une image d'un « cheval marron »).

Les MLLM actuels excellent dans la localisation mais échouent fréquemment au refus. En raison de l'absence d'échantillons négatifs lors du pré-entraînement à grande échelle, ces modèles ont tendance à halluciner des boîtes englobantes (bounding boxes) pour des objets inexistants plutôt que de produire un refus (par exemple, « Aucun »). Les solutions de post-entraînement existantes, telles que l'Ajustement Supervisé (SFT) et les méthodes d'Apprentissage par Renforcement (RL) standard comme l'Optimisation de Préférence Directe (DPO) ou l'Optimisation de Groupe Relative par Gradient (GRPO), améliorent souvent les taux de refus mais au prix d'une dégradation sévère de la précision de localisation sur les échantillons positifs. Cela crée un déséquilibre d'optimisation où les modèles apprennent à dire « non » de manière indiscriminée, les rendant inutilisables pour des applications pratiques exigeant ces deux capacités.

Méthodologie : RC-GRPO (Refusal-Calibrated GRPO)

Les auteurs proposent le RC-GRPO, un cadre d'apprentissage par renforcement en deux étapes conçu pour calibrer le comportement de refus tout en préservant la compétence de localisation fondamentale. Le cadre s'appuie sur le GRPO mais introduit des mécanismes spécifiques pour répondre aux défis uniques de la GREC.

1. Construction des Données d'Entraînement
La méthode utilise FineCops-Ref, un benchmark fin contenant des échantillons négatifs difficiles générés via des perturbations linguistiques (changement d'attributs/relations) et l'édition d'images. L'ensemble d'entraînement se compose de 2 000 échantillons équilibrés (1 000 positifs, 1 000 négatifs).

2. Étape I : Calibrage du Refus avec Récompense Contrastive
Cette étape vise à établir une capacité de rejet de base (passer de 0 à 1) sans provoquer l'effondrement de la performance positive. Elle emploie trois composantes clés :

Rollout de Rejet Forcé : Comme les MLLM de base explorent rarement les sorties « Aucun » durant le début de l'entraînement, le GRPO standard échoue à calculer des avantages valides pour les échantillons négatifs (car tous les rollouts produisent des boîtes englobantes). Le RC-GRPO impose des sorties « Aucun » via une recherche par faisceau (beam search) contrainte lors des rollouts si le modèle ne les génère pas naturellement. Cela garantit une estimation de l'avantage valide pour les échantillons négatifs.
Récompense Contrastive : Une fonction de récompense est conçue pour pénaliser le sur-refus sur les échantillons positifs.
- Pour les échantillons positifs : une boîte englobante correcte (IoU $\ge$ 0,5) donne une récompense de 1 ; une prédiction « Aucun » donne -1.
- Pour les échantillons négatifs : une prédiction « Aucun » donne 1 ; une boîte englobante donne 0.
  Cette structure enseigne au modèle qu'une mauvaise boîte est préférable à un faux refus sur les cas positifs.
Mise à l'échelle de l'Avantage Négatif : Pour empêcher le modèle de sur-apprendre la tâche plus facile consistant à dire « Aucun », les avantages des échantillons négatifs sont réduits par un coefficient $\alpha \in (0, 1]$ . Cela équilibre la dynamique d'optimisation entre les deux types d'échantillons.

3. Étape II : Renforcement Guidé par le Raisonnement
Pour s'assurer que les refus découlent d'une véritable compréhension sémantique et non d'une correspondance de motifs superficiels, une seconde étape encourage le modèle à générer des explications pour ses refus.

Récompense de Rationale : Le modèle est incité à expliquer pourquoi un objet est absent. Un système de vérification basé sur des règles évalue l'explication générée par rapport à la perturbation sémantique spécifique (par exemple, identifier que « derrière » a été changé en « devant »).
Formulation de la Récompense : La récompense inclut une récompense de base pour le refus correct plus une récompense dense pour l'identification correcte de l'inadéquation spécifique (Pattern Incorrect) et de la description valide originale (Pattern Original). Cela renforce la compréhension causale et l'interprétabilité.

Contributions Clés

Définition de la Tâche : Ce travail étudie formellement la tâche GREC, soulignant le besoin critique de l'équilibre entre la précision de la localisation et la fiabilité du refus pour le déploiement réel.
Cadre RC-GRPO : La proposition d'un cadre de RL calibré qui introduit le Calibrage du Refus (imposant des sorties « Aucun » pour des signaux de gradient valides) et une Pénalité de l'Échantillon Positif (récompense contrastive) pour optimiser conjointement le rejet et la localisation.
Renforcement du Raisonnement : L'introduction d'une étape de génération de raisonnement qui ancre les refus dans un raisonnement causal, améliorant à la fois la fiabilité de la décision de « Non » et l'interprétabilité du modèle.
Validation Empirique : Des expériences étendues démontrant que le RC-GRPO atteint un compromis supérieur entre la performance des échantillons positifs et négatifs par rapport au SFT, au DPO et aux autres bases de comparaison de RL.

Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks : FineCops-Ref, gRefCOCO et D3 (Described Object Detection).

Gains de Performance : Sur gRefCOCO, l'application du RC-GRPO à Qwen2.5-VL-7B a amélioré la Précision (Pr) de 38,2 % (base) à 62,8 % (RC-GRPO-I) et 64,9 % (RC-GR de II), surpassant nettement les modèles spécialistes et les bases MLLM existantes comme ROD-MLLM et CRS.
Compromis Équilibré : Contrairement au SFT, qui a obtenu une haute précision de refus (N-acc) mais a provoqué une chute catastrophique de la localisation positive (P-acc), le RC-GRPO maintient une P-acc élevée tout en atteignant une N-acc robuste.
Frontière de Pareto : L'analyse du compromis P-acc vs N-acc a montré que le RC-GRPO établit une frontière de Pareto supérieure dans la région de haute utilité, évitant la « zone d'effondrement d'utilité » où les modèles sacrifient la capacité de mise en évidence (grounding) pour le refus.
Généralisation : La méthode a montré une dégradation négligeable sur les benchmarks multimodaux généraux (MME, MMBench, POPE), indiquant que la logique de refus ne compromet pas la compréhension visuelle générale ni n'induit de nouvelles hallucinations.
Études d'Ablation : Le retrait de n'importe quelle composante (Forced-Rejection, Contrastive Reward ou Advantage Scaling) a entraîné des performances sous-optimales, confirmant la nécessité du cadre complet.

Signification et Revendications

L'article affirme que le RC-GRPO résout le déséquilibre d'optimisation inhérent à l'entraînement des MLLM pour la GREC. En internalisant la logique de refus causale via un apprentissage par renforcement calibré, la méthode permet aux modèles de « dire non » de manière fiable sans sacrifier leur compétence fondamentale de localisation. Les auteurs soutiennent que cette approche va au-delà du simple seuillage ou des modifications architecturales, fournissant une solution de post-entraînement évolutive qui rend la GREC nettement plus pratique pour les scénarios réels où les objets peuvent être absents ou inadéquats. Le travail souligne que le modèle apprend quand et pourquoi refuser, plutôt que de rejeter les entrées de manière indiscriminée.