State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading

1. Probleemdefinitie

Het artikel adresseert een kritieke zwakte in huidige Multimodale Grootte Taalmodellen (MLLM's): hun onvermogen om wijzerplaat-gebaseerde metingen betrouwbaar af te lezen (bijvoorbeeld analoge klokken, wijzerinstrumenten, industriële meters).

• De Kernkwestie: Hoewel MLLM's uitblinken in algemene semantische herkenning, falen ze in het nauwkeurig herstellen van fysische toestanden. Ze vertrouwen sterk op oppervlakkige verschijningskenmerken (verlichting, textuur, gezichtspunt) in plaats van de onderliggende fysische toestand (de werkelijke waarde die door de wijzer wordt aangegeven).
• Toestandsinconsistentie: De auteurs identificeren dat MLLM's gebrek hebben aan toestandsconsistentie.
  • Falende Invariantie: Dezelfde fysische toestand (bijvoorbeeld 9:46) levert verschillende voorspellingen op wanneer het gezichtspunt of de verlichting verandert.
  • Falende Sensitiviteit: Naburige toestanden (bijvoorbeeld 9:45 versus 9:46) die visueel vergelijkbaar zijn, zijn voor het model vaak niet te onderscheiden, wat leidt tot grote fouten.
• Oorzaak: De kenmerkruimte van bestaande MLLM's is georganiseerd op basis van verschijning in plaats van de continue geometrische structuur van de wijzerplaattoestand. Dit veroorzaakt breekbare prestaties onder real-world variaties.

2. Methodologie: TriSCA Framework

Om dit op te lossen, stellen de auteurs TriSCA voor, een Tri-level State-Consistent Alignment framework. De aanpak vertrouwt op een gecontroleerde data-synthesepijplijn (het scheiden van toestand van verschijning) en drie distincte trainingsfasen:

A. Data Synthesis Pipeline

De auteurs creëerden een synthetische datageneratiepijplijn met behulp van Blender en code-uitvoering om gecontroleerde datasets te produceren voor klokken en instrumenten.

• Factorisatie: Elke steekproef wordt ontleed in een Wijzerplaattoestand ($s$) (de ware waarde) en een Verschijningsconditie ($a$) (gezichtspunt, verlichting, wazigheid).
• Diagnostische Relaties: Dit maakt het mogelijk om te creëren:
  1. Zelfde-Toestand Paren: Identieke $s$, variërende $a$ (om invariantie te testen).
  2. Naburige-Toestand Paren: Iets verschillende $s$, vergelijkbare $a$ (om fijnmazige discriminatie te testen).

B. Driefasig Trainingsframework

Fase 1: State-Distance-Aware Representation Alignment

• Doel: De visuele kenmerkruimte herschikken om de geometrie van de fysische toestand weer te geven.
• Mechanisme: Bevriest het taalmodel en updatet de visuele toren met behulp van een contrastief triplet-verlies.
  • Anker ($a$) en Positief ($p$) delen dezelfde toestand maar hebben verschillende verschijningen.
  • Negatief ($n$) heeft een andere toestand.
  • Marge ($m_i$): De verliesmarge is dynamisch, gebaseerd op de "toestandskloof" tussen het anker en het negatief. Grotere toestandsverschillen dwingen grotere afstanden af in de kenmerkruimte.
• Resultaat: Dwingt steekproeven met dezelfde toestand om zich strak te clusteren over condities heen en scheidt naburige toestanden op basis van hun fysisch verschil.

Fase 2: Metadata-Grounded Observation-to-State Reasoning

• Doel: Voorkom dat het model direct naar een holistisch antwoord springt; dwing een onderbouwd redeneerproces af.
• Mechanisme: Supervised Fine-Tuning (SFT) met gestructureerde tussenstappen. Het model wordt getraind om een chain of thought te outputten die expliciet:
  1. De indicator (wijzer) identificeert.
  2. De positie ervan schat ten opzichte van de wijzerplaat.
  3. Deze positie mapt naar de gekalibreerde schaal.
  4. De uiteindelijke toestand afleidt.
• Resultaat: Het model leert zijn voorspelling te gronden in visueel bewijs in plaats van verschijningskorte wegjes.

Fase 3: State-Aware Objective Alignment

• Doel: Het optimalisatiesignaal verfijnen om overeen te komen met het continue karakter van wijzerplaatwaarden.
• Mechanisme: Vervangt standaard discrete "Exact Match"-beloningen met een continue toestandsafstandsbeloning.
  • Gebruikt een Gaussische beloningsfunctie: $r_{state} = \exp(-d_{state}^2 / 2\sigma^2)$, waarbij $d_{state}$ de fout is tussen voorspelde en ware waarden.
  • Geoptimaliseerd via Group Relative Policy Optimization (GRPO), wat meerdere outputs sampleert en beloningen binnen de groep normaliseert.
• Resultaat: Het model wordt minder gestraft voor het "dichtbij" het antwoord zijn en meer voor het ver weg zijn, wat nauwkeurige continue schatting aanmoedigt.

3. Belangrijkste Bijdragen

1. Diagnose van Toestandsconsistentie: Het artikel definieert en diagnoseert "toestandsconsistentie" formeel als de ontbrekende capaciteit in MLLM's voor het aflezen van wijzerplaten. Het levert bewijs (via kenmerkruimte-probing) dat huidige modellen kenmerken ordenen op basis van verschijning, niet op basis van toestand.
2. Gecontroleerde Benchmarks: Introductie van een synthesepijplijn die toestand ontkoppelt van verschijning, wat rigoureuze tests van invariantie en sensitiviteit mogelijk maakt die real-world datasets niet kunnen bieden.
3. TriSCA Framework: Een geünificeerde, driefasige trainingsmethode die representaties, redenering en doelen afstemt op de intrinsieke geometrie van wijzerplattaken.
4. Empirische Validatie: Aangetoond significante verbeteringen in robuustheid tegen verschuivingen in gezichtspunt/verlichting en overdraagbaarheid naar real-world benchmarks.

4. Experimentele Resultaten

De auteurs evalueerden TriSCA op gecontroleerde synthetische benchmarks (Klokken en Instrumenten) en de externe MeasureBench.

• Robuustheid tegen Verschijningsverschuivingen:
  • Basismodellen (bijvoorbeeld Qwen3-VL, Molmo) leden scherpe dalingen in nauwkeurigheid (bijvoorbeeld van ~5% naar ~2%) onder veranderingen in gezichtspunt/verlichting.
  • TriSCA behield een hoge nauwkeurigheid, met een significant langzamere degradatie naarmate de ernst van de verstoring toenam.
• Prestatiemetrics:
  • Gecontroleerde Benchmarks: TriSCA behaalde 37,4% nauwkeurigheid op klokken (vs. 5,1% baseline) en 26,2% op instrumenten (vs. 1,7% baseline) in de moeilijkste "Combined"-conditie.
  • Kenmerkruimte-analyse: Na afstemming verbeterde de Recall@1 voor retrieval van dezelfde toestand van 77,33% naar 90,00%, en verbeterde de Silhouette Score (kwaliteit van clusters) van 0,07 naar 0,34, wat een betere toestandsorganisatie bevestigt.
  • Real-world Generalisatie (MeasureBench): Op de categorie "Dial" van MeasureBench verbeterde TriSCA de nauwkeurigheid van het open-source model met +16,5% (Real-world) en +3,0% (Synthetisch) ten opzichte van het basismodel, terwijl de prestaties op niet-gerelateerde categorieën stabiel bleven.
• Continue Precisie: TriSCA verminderde de Mean Absolute Error (MAE) significant, wat bewijst dat zelfs wanneer exacte matches falen, de voorspellingen veel dichter bij de ware waarde liggen.

5. Betekenis

• Bijzonderheid van Nauwkeurigheid: Het artikel verschuift de focus van simpelweg "het juiste antwoord krijgen" naar het begrijpen hoe het model de wereld representeert. Het betoogt dat voor fysische taken de interne geometrie van de kenmerkruimte moet overeenkomen met de fysische geometrie van de taak.
• Generaliseerbaarheid: Hoewel gefocust op wijzerplaten, biedt de methodologie (toestands-constante afstemming) een blauwdruk voor het verbeteren van MLLM's in elke taak die nauwkeurige schatting van fysische toestanden vereist (bijvoorbeeld lineaire schalen, samengestelde displays).
• Praktische Impact: De resultaten suggereren dat betrouwbare geautomatiseerde meteraflezing, robotische inspectie en veiligheidskritieke monitoring haalbaar zijn met MLLM's als deze worden getraind met toestands-constante afstemming in plaats van alleen standaard supervised fine-tuning.