🤖 machine learning

RoDiF: Robust Direct Fine-Tuning of Diffusion Policies with Corrupted Human Feedback

Cet article introduit RoDiF, une méthode de réglage fin robuste pour les politiques de diffusion qui exploite une formulation d'un MDP unifié pour permettre une optimisation de préférence directe sans récompense et emploie une stratégie géométrique de coupure d'hypothèse pour gérer efficacement les retours humains corrompus dans les tâches robotiques à long horizon.

Auteurs originaux : Amitesh Vatsa, Zhixian Xie, Wanxin Jin

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amitesh Vatsa, Zhixian Xie, Wanxin Jin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Enseigner à un robot avec un professeur bruyant

Imaginez que vous avez un robot chef très talentueux qui a appris à cuisiner en regardant un grand chef à la télévision. Le robot est excellent pour suivre la recette (c'est la Diffusion Policy). Cependant, parfois, le robot prépare des plats qui sont « corrects » mais pas exactement ce que vous voulez. Par exemple, vous préférez votre steak bien cuit, mais le robot continue de le préparer saignant.

Pour correr cela, vous voulez enseigner au robot votre goût spécifique. Pour cela, vous lui présentez deux repas et lui dites : « Je préfère celui-ci » (c'est le Human Feedback ou retour humain).

Le Problème :

Le cerveau du robot est complexe : Contrairement à une recette simple, ce robot chef ne se contente pas de choisir un plat ; il « cuisine » le plat en de nombreuses petites étapes invisibles (comme retirer lentement le bruit d'une photo floue jusqu'à ce qu'elle devienne nette). Les méthodes d'enseignement standard s'embrouillent face à ce processus multi-étapes.
Le professeur est fatigué : Les humains font des erreurs. Parfois, vous êtes fatigué, ou vous changez d'avis, ou vous étiquetez accidentellement un mauvais repas comme étant « bon ». Si le robot essaie d'apprendre de ces erreurs, il pourrait commencer à cuisiner de la nourriture terrible, pensant que c'est ce que vous vouliez réellement.

La Solution : RoDiF
Les auteurs ont créé une nouvelle méthode appelée RoDiF (Robust Direct Fine-Tuning). Voyez cela comme un assistant d'enseignement super intelligent qui aide le robot à apprendre d'un professeur qui pourrait commettre des erreurs.

Comment fonctionne RoDiF : Trois étapes simples

1. La « Carte Unifiée » (Unified MDP)

Habituellement, les étapes de cuisine internes du robot et l'environnement de la cuisine dans le monde réel sont traités comme deux choses distinctes. Cela rend difficile l'application des règles d'enseignement standard.

L'analogie : Imaginez essayer de naviguer dans une ville tout en essayant de résoudre un puzzle à l'intérieur de votre voiture en même temps. C'est déroutant.
La correction : RoDiF dessine une seule carte géante qui combine les étapes de résolution de puzzle et les étapes de conduite en un seul voyage continu. Cela permet au robot d'appliquer une nouvelle règle d'enseignement puissante (appelée DPO) directement à son cerveau complexe sans s'égarer.

2. Le jeu de la « Coupe d'Hypothèses »

L'idée centrale de RoDiF concerne la façon dont le robot traite votre retour.

L'analogie : Imaginez que le robot possède une immense boîte contenant des milliers de différents « réglages de personnalité » (hypothèses). Chaque fois que vous dites : « Je préfère le Repas A au Repas B », c'est comme prendre un couteau et couper un énorme morceau de la boîte qui contient toutes les personnalités qui auraient choisi le Repas B.
Le but : Vous continuez à couper les « mauvaises » personnalités jusqu'à ce qu'il ne reste que la « bonne » dans la boîte.

3. Le « Coupeur Conservateur » (Gérer les erreurs)

C'est la partie la plus importante. Et si vous coupiez accidentellement la bonne personnalité parce que vous avez fait une erreur ?

Le problème : Dans les méthodes standard, une seule mauvaise coupe peut détruire toute la boîte. Si vous dites accidentellement « Je déteste le bon repas », le robot pourrait jeter sa meilleure personnalité pour toujours.
La correction de RoDiF : RoDiF utilise une Stratégie Conservatrice. Au lieu d'exiger que chaque coupe soit parfaite, elle demande : « Si j'ignore les 20 % de coupes les plus mauvaises (les erreurs probables), est-ce que la bonne personnalité survit toujours ? »
Le résultat : Même si 30 % de vos retours sont erronés (corrompus), RoDiF regarde les « votes » de tous vos retours. Elle ignore les votes bruyants et conflictuels et conserve la personnalité qui satisfait la majorité des coupes fiables. C'est comme un juge qui ignore la foule criante et en colère pour n'écouter que les témoins calmes et cohérents.

Qu'ont-ils prouvé ?

Les auteurs ont testé cela sur des robots effectuant des tâches longues et compliquées comme empiler des blocs, trier des objets et pousser des objets.

Meilleur Alignement : Ils ont montré que RoDiF pouvait diriger avec succès le robot pour qu'il fasse exactement ce que l'humain voulait (par exemple, « Empile le bloc rouge en premier »), même lorsque le robot voulait naturellement faire autre chose.
Résistance au Bruit Supérieure : Lorsqu'ils ont intentionnellement faussé 30 % des étiquettes de retour (en disant au robot la mauvaise chose), les méthodes standard ont échoué et le robot a été confus. RoDiF, cependant, a continué à bien performer, comme si elle pouvait « voir à travers » les mensonges.
Fonctionne sur différents cerveaux : Ils ont testé cela sur trois types différents de « cerveaux » de robots (architectures), et cela a fonctionné pour tous.

Résumé

RoDiF est une nouvelle façon d'enseigner aux robots en utilisant les préférences humaines. Cela résout deux grands problèmes :

Il trouve comment enseigner aux robots qui pensent de manière complexe et multi-étapes.
Il est assez robuste pour ignorer les erreurs humaines. Il ne panique pas quand vous donnez un mauvais conseil ; au lieu de cela, il filtre le bruit et apprend la bonne leçon malgré tout.

Cela rend l'utilisation du feedback humain pour entraîner des robots pour des tâches du monde réel beaucoup plus sûre et plus fiable.

Résumé Technique : RoDiF – Fine-Tuning Direct Robuste de Politiques de Diffusion avec un Feedback Humain Corrompu

1. Énoncé du Problème

Les politiques de diffusion sont apparues comme un paradigme puissant pour le contrôle robotique, offrant des capacités supérieures pour capturer des distributions multimodales et gérer des espaces d'actions de haute dimension par rapport aux politiques gaussiennes ou déterministes traditionnelles. Cependant, l'ajustement fin (fine-tuning) de ces politiques pré-entraînées pour les aligner sur des préférences humaines spécifiques présente deux défis fondamentaux :

Inadéquation Structurelle : Contrairement aux modèles de langage autorégressifs, les politiques de diffusion opèrent via une chaîne de débruitage multi-étapes imbriquée dans le processus de décision de Markov (MDP) de l'environnement. Les méthodes existantes d'Optimisation Directe de Préférence (DPO) ne tiennent pas compte nativement de cette double structure temporelle (étapes de débruitage internes vs dynamique environnementale externe), rendant la dérivation d'un objectif DPO traitable non triviale.
Feedback Humain Corrompu : Le feedback humain dans le contrôle robotique est souvent stochastique et contient des incohérences dépassant les hypothèses de bruit standard (ex: inversions d'étiquettes, désaccords entre annotateurs ou critères non stationnaires). Un ajustement fin naïf sur de telles données provoque un surapprentissage (overfitting) sur des comparaisons conflictuelles, optimisant efficacement des contraintes erronées plutôt que l'intention humaine, ce qui dégrade à la fois l'alignement et la performance de la tâche.

2. Méthodologie

Le cadre proposé, RoDiF (Robust Direct Fine-Tuning), aborde ces défis à travers une formulation théorique unifiée et une stratégie d'optimisation géométriquement fondée.

2.1 Formulation MDP Unifiée

Pour permettre le DPO pour les politiques de diffusion, les auteurs introduisent un MDP Unifié qui intègre de manière cohérente la chaîne de débruitage de la diffusion avec la dynamique de l'environnement.

Définition de l'État et de l'Action : L'état unifié $s^+$ combine l'état actuel de l'environnement $s_t$ et le vecteur de bruit initial $a^K_t$ . L'action unifiée $a^+$ représente la séquence des étapes de débruitage $(a^{K-1}_t, \dots, a^0_t)$ .
Dynamique de Transition : La fonction de transition aplatit le processus, traitant l'injection de bruit aléatoire et la transition environnementale comme une étape unique.
Factorisation de la Politique : La politique unifiée $\pi_\theta(a^+|s^+)$ est factorisée en un produit des probabilités de débruitage conditionnelles à chaque étape $k$ , permettant l'application des astuces de reparamétrage DPO standard au processus de diffusion sans modélisation explicite de la récompense.

2.2 Perspective de Coupure d'Hypothèse Géométrique

RoDiF réinterprète l'objectif DPO à travers un prisme géométrique.

Espace d'Hypothèse : L'espace des paramètres de la politique de diffusion est considéré comme un espace d'hypothèse $\Theta$ .
Préférence comme Coupures : Chaque paire de préférence humaine (trajectoire gagnante $\tau_w$ vs trajectoire perdante $\tau_l$ ) induit une contrainte d'inégalité (une "coupure") sur l'espace des paramètres. Un paramètre de politique valide doit satisfaire $\Delta Q_\theta \geq 0$ pour la paire préférée.
Le Problème du Bruit : En présence d'étiquettes corrompues, une seule erreur de préférence peut créer une "fausse coupure" qui exclut le paramètre optimal réel $\theta_H$ de l'intersection de toutes les coupures, faisant dérailler irréversiblement le processus d'apprentissage.

2.3 Stratégie de Vote Conservatrice

Pour obtenir la robustesse sans supposer une distribution de bruit spécifique, RoDiF emploie une stratégie de coupure conservatrice :

Mécanisme de Vote : Au lieu d'exiger qu'un paramètre satisfasse toutes les coupures de préférence (ce qui échoue si une étiquette est corrompue), la méthode traite chaque coupure comme un vote.
Seuil de Conservatisme : Un niveau de conservatisme $\gamma \in [0, 1]$ est introduit, représentant une borne supérieure estimée du taux de corruption. L'objectif d'optimisation est relaxé pour conserver les paramètres qui satisfont au moins $\lfloor(1-\gamma)N\rfloor$ coupures.
Fonction de Perte Robuste : La perte DPO standard est modifiée par une perte robuste $L_{RoDiF}$ . La fonction de Heaviside non dérivable (utilisée pour compter les votes) est adoucie à l'aide d'une fonction sigmoïde pour permettre l'optimisation par gradient. Cela permet à la politique d'ignorer jusqu'à $\gamma N$ étiquettes incohérentes tout en convergeant vers la véritable politique alignée sur l'humain.

3. Contributions Clés

Formulation MDP Unifiée : Une nouvelle formulation qui intègre les étapes de débruitage de la diffusion avec les transitions environnementales, permettant la dérivation d'un objectif DPO traitable et sans récompense pour les politiques de diffusion.
Algorithme RoDiF : Un algorithme géométriquement fondé qui ajuste finement de manière robuste les politiques de diffusion en exploitant la coupure d'hypothèse conservatrice. Il atténue l'impact des étiquettes de préférence incohérentes sans nécessiter la connaissance préalable de la distribution du bruit.
Validation Empirique : Des expériences approfondies démontrant que RoDiF surpasse significativement les bases de référence de l'état de l'art (incluant le DPO standard, CPO, IPO et SimPO) sur des tâches de manipulation de haute dimension et à long horizon, maintenant une performance d'alignement élevée même sous 30 % d'étiquettes de préférence corrompues.

4. Résultats Expérimentaux

La méthode a été évaluée sur cinq tâches de manipulation à long horizon (Avoid, Pushing, Sorting, Aligning, Stacking) en utilisant trois backbones de diffusion différents (UNet, Transformer, MLP).

Efficacité de l'Alignement : RoDiF a réussi à diriger les politiques pré-entraînées vers les modes spécifiés par l'utilisateur, même lorsque ces modes n'étaient pas dominants dans la politique pré-entraînée (ex: atteignant >84 % d'alignement de mode dans la tâche "Avoid" là où la base était <21 %).
Robustesse au Bruit :
- Sous 0 % de corruption, RoDiF est comparable au DPO standard.
- Sous 20 % et 30 % de corruption, le DPO standard et d'autres bases (comme SimPO) se dégradent significativement (ex: le taux de succès de SimPO chute de 43 % à 10 % sous 20 % de bruit).
- RoDiF maintient une performance élevée (>84 % de taux de succès) à travers tous les niveaux de bruit, isolant efficacement le signal de pilotage du bruit systématique des étiquettes.
Agnosticisme de l'Architecture : La méthode s'est révélée efficace à travers diverses architectures de diffusion (UNet, Transformer, MLP).
Efficacité d'Échantillonnage : Le cadre a démontré une grande efficacité d'échantillonnage, atteignant un alignement fort avec seulement 10 paires gagnant-perdant dans certaines tâches spécifiques.

5. Signification et Revendications

L'article affirme que RoDiF fait progresser la sécurité et la fiabilité de l'apprentissage robotique basé sur les préférences. En atténuant explicitement les effets des feedbacks humains erronés ou incohérents, le cadre réduit le risque de mises à jour de politiques fragiles ou instables. Cela est présenté comme une étape critique vers le déploiement de systèmes robotiques dans des environnements réels sensibles à la sécurité, où les annotateurs humains peuvent fournir des données imparfaites. Le travail met l'accent sur la robustesse en tant que exigence fondamentale pour un déploiement responsable, offrant une solution qui ne dépend pas de données parfaites ou de modélisation de récompense complexe.