State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading

1. Définition du problème

L'article aborde une faiblesse critique des modèles de langage multimodaux de grande taille (MLLM) actuels : leur incapacité à lire de manière fiable des mesures à cadran (par exemple, horloges analogiques, jauges à aiguille, compteurs industriels).

• Le problème central : Bien que les MLLM excellent dans la reconnaissance sémantique générale, ils échouent dans la récupération fine de l'état physique. Ils s'appuient fortement sur des indices d'apparence superficiels (éclairage, texture, point de vue) plutôt que sur l'état physique sous-jacent (la valeur réelle indiquée par l'aiguille).
• Incohérence de l'état : Les auteurs identifient que les MLLM manquent de cohérence de l'état.
  • Échec de l'invariance : Un même état physique (par exemple, 9h46) produit des prédictions différentes lorsque le point de vue ou l'éclairage change.
  • Échec de la sensibilité : Des états voisins (par exemple, 9h45 vs 9h46) qui semblent visuellement similaires sont souvent indistinguables pour le modèle, entraînant de grandes erreurs.
• Cause racine : L'espace de caractéristiques des MLLM existants est organisé par l'apparence plutôt que par la structure géométrique continue de l'état du cadran. Cela entraîne des performances fragiles face aux variations du monde réel.

2. Méthodologie : Cadre TriSCA

Pour résoudre ce problème, les auteurs proposent TriSCA, un cadre d'alignement de cohérence d'état à trois niveaux. L'approche repose sur un pipeline de synthèse de données contrôlé (séparant l'état de l'apparence) et trois étapes d'entraînement distinctes :

A. Pipeline de synthèse de données

Les auteurs ont créé un pipeline de génération de données synthétiques utilisant Blender et l'exécution de code pour produire des jeux de données contrôlés pour les horloges et les jauges.

• Factorisation : Chaque échantillon est décomposé en un État du cadran ($s$) (la valeur réelle) et une Condition d'apparence ($a$) (point de vue, éclairage, flou).
• Relations diagnostiques : Cela permet de créer :
  1. Paires de même état : Même $s$, $a$ variable (pour tester l'invariance).
  2. Paires d'états voisins : $s$ légèrement différent, $a$ similaire (pour tester la discrimination fine).

B. Cadre d'entraînement en trois étapes

Étape 1 : Alignement des représentations sensible à la distance d'état

• Objectif : Remodeler l'espace de caractéristiques visuelles pour refléter la géométrie de l'état physique.
• Mécanisme : Gel du modèle de langage et mise à jour de la tour visuelle à l'aide d'une fonction de perte triplet contrastive.
  • Ancre ($a$) et Positif ($p$) partagent le même état mais des apparences différentes.
  • Négatif ($n$) a un état différent.
  • Marge ($m_i$) : La marge de perte est dynamique, basée sur l'écart d'état entre l'ancre et le négatif. Des différences d'état plus grandes imposent des distances plus grandes dans l'espace de caractéristiques.
• Résultat : Force les échantillons de même état à se regrouper étroitement à travers les conditions et sépare les états voisins en fonction de leur différence physique.

Étape 2 : Raisonnement Observation-à-État ancré sur les métadonnées

• Objectif : Empêcher le modèle de sauter directement à une réponse holistique ; forcer un processus de raisonnement ancré.
• Mécanisme : Affinement supervisé (SFT) avec étapes intermédiaires structurées. Le modèle est entraîné à produire une chaîne de pensée qui explicite :
  1. L'identification de l'indicateur (aiguille).
  2. L'estimation de sa position par rapport au cadran.
  3. La correspondance de cette position avec l'échelle calibrée.
  4. La dérivation de l'état final.
• Résultat : Le modèle apprend à ancrer sa prédiction dans des preuves visuelles plutôt que dans des raccourcis d'apparence.

Étape 3 : Alignement de l'objectif sensible à l'état

• Objectif : Affiner le signal d'optimisation pour correspondre à la nature continue des valeurs de cadran.
• Mécanisme : Remplacement des récompenses standard de "correspondance exacte" discrètes par une récompense de distance d'état continue.
  • Utilisation d'une fonction de récompense gaussienne : $r_{state} = \exp(-d_{state}^2 / 2\sigma^2)$, où $d_{state}$ est l'erreur entre les valeurs prédites et réelles.
  • Optimisé via l'Optimisation de politique relative par groupes (GRPO), qui échantillonne plusieurs sorties et normalise les récompenses au sein du groupe.
• Résultat : Le modèle est moins pénalisé pour être "proche" de la réponse et plus pour être loin, encourageant une estimation continue précise.

3. Contributions clés

1. Diagnostic de la cohérence d'état : L'article définit et diagnostique formellement la "cohérence d'état" comme la capacité manquante des MLLM pour la lecture de cadrans. Il fournit des preuves (via l'exploration de l'espace de caractéristiques) que les modèles actuels organisent les caractéristiques par apparence, et non par état.
2. Benchmarks contrôlés : Introduction d'un pipeline de synthèse qui découple l'état de l'apparence, permettant des tests rigoureux d'invariance et de sensibilité que les jeux de données réels ne peuvent pas fournir.
3. Cadre TriSCA : Une méthode d'entraînement unifiée en trois étapes qui aligne les représentations, le raisonnement et les objectifs avec la géométrie intrinsèque des tâches de cadran.
4. Validation empirique : Démonstration d'améliorations significatives de la robustesse face aux changements de point de vue/éclairage et de la transférabilité vers des benchmarks du monde réel.

4. Résultats expérimentaux

Les auteurs ont évalué TriSCA sur des benchmarks synthétiques contrôlés (Horloges et Jauges) et le MeasureBench externe.

• Robustesse aux changements d'apparence :
  • Les modèles de base (par exemple, Qwen3-VL, Molmo) ont subi des chutes brutales de précision (par exemple, de ~5 % à ~2 %) sous l'effet des changements de point de vue/éclairage.
  • TriSCA a maintenu une précision élevée, montrant une dégradation significativement plus lente à mesure que la sévérité des perturbations augmentait.
• Métriques de performance :
  • Benchmarks contrôlés : TriSCA a atteint 37,4 % de précision sur les horloges (contre 5,1 % pour la base) et 26,2 % sur les jauges (contre 1,7 % pour la base) dans la condition "Combinée" la plus difficile.
  • Analyse de l'espace de caractéristiques : Après alignement, le Recall@1 pour la récupération de même état est passé de 77,33 % à 90,00 %, et le Score de Silhouette (qualité du regroupement) est passé de 0,07 à 0,34, confirmant une meilleure organisation de l'état.
  • Généralisation au monde réel (MeasureBench) : Sur la catégorie "Dial" de MeasureBench, TriSCA a amélioré la précision du modèle open-source de +16,5 % (Monde réel) et +3,0 % (Synthétique) par rapport au modèle de base, tandis que les performances sur des catégories sans rapport sont restées stables.
• Précision continue : TriSCA a considérablement réduit l'erreur absolue moyenne (MAE), prouvant que même lorsque les correspondances exactes échouent, les prédictions sont beaucoup plus proches de la valeur réelle.

5. Signification

• Au-delà de la précision : L'article déplace le focus de la simple "obtention de la bonne réponse" vers la compréhension de comment le modèle représente le monde. Il soutient que pour les tâches physiques, la géométrie interne de l'espace de caractéristiques doit correspondre à la géométrie physique de la tâche.
• Généralisabilité : Bien que centré sur les cadrans, la méthodologie (alignement cohérent de l'état) offre un modèle pour améliorer les MLLM dans toute tâche nécessitant une estimation précise de l'état physique (par exemple, échelles linéaires, affichages composites).
• Impact pratique : Les résultats suggèrent que la lecture automatisée fiable de compteurs, l'inspection robotique et la surveillance critique pour la sécurité sont réalisables avec des MLLM s'ils sont entraînés avec un alignement cohérent de l'état plutôt qu'avec un simple affinement supervisé standard.