State Beyond Appearance: Diagnosing and Improving State Consistency in Dial-Based Measurement Reading

1. Definição do Problema

O artigo aborda uma fraqueza crítica nos atuais Modelos de Linguagem Multimodal de Grande Escala (MLLMs): a sua incapacidade de ler com fiabilidade medições baseadas em mostradores (por exemplo, relógios analógicos, manómetros de ponteiro, medidores industriais).

• A Questão Central: Embora os MLLMs se destaquem no reconhecimento semântico geral, falham na recuperação de estados físicos de alta granularidade. Eles dependem excessivamente de indícios superficiais de aparência (iluminação, textura, ponto de vista) em vez do estado físico subjacente (o valor real indicado pelo ponteiro).
• Inconsistência de Estado: Os autores identificam que os MLLMs carecem de consistência de estado.
  • Falha de Invariância: O mesmo estado físico (por exemplo, 9:46) produz previsões diferentes quando o ponto de vista ou a iluminação mudam.
  • Falha de Sensibilidade: Estados vizinhos (por exemplo, 9:45 vs. 9:46) que parecem visualmente semelhantes são frequentemente indistinguíveis para o modelo, levando a erros significativos.
• Causa Raiz: O espaço de características dos MLLMs existentes está organizado pela aparência e não pela estrutura geométrica contínua do estado do mostrador. Isso causa um desempenho frágil sob variações do mundo real.

2. Metodologia: Framework TriSCA

Para resolver isto, os autores propõem o TriSCA, um framework de Alinhamento de Consistência de Estado de Três Níveis. A abordagem baseia-se num pipeline de síntese de dados controlado (separando o estado da aparência) e em três fases distintas de treino:

A. Pipeline de Síntese de Dados

Os autores criaram um pipeline de geração de dados sintéticos utilizando Blender e execução de código para produzir conjuntos de dados controlados para relógios e manómetros.

• Fatorização: Cada amostra é decomposta num Estado do Mostrador ($s$) (o valor verdadeiro) e numa Condição de Aparência ($a$) (ponto de vista, iluminação, desfoque).
• Relações Diagnósticas: Isto permite a criação de:
  1. Pares de Mesmo Estado: $s$ idêntico, $a$ variável (para testar invariância).
  2. Pares de Estado Vizinho: $s$ ligeiramente diferente, $a$ similar (para testar discriminação de alta granularidade).

B. Framework de Treino em Três Fases

Fase 1: Alinhamento de Representação Consciente da Distância de Estado

• Objetivo: Reconfigurar o espaço de características visuais para refletir a geometria do estado físico.
• Mecanismo: Congela o modelo de linguagem e atualiza a torre visual utilizando uma função de perda de tripletos contrastivos.
  • Âncora ($a$) e Positivo ($p$) partilham o mesmo estado mas têm aparências diferentes.
  • Negativo ($n$) tem um estado diferente.
  • Margem ($m_i$): A margem da perda é dinâmica, baseada na "lacuna de estado" entre a âncora e o negativo. Diferenças de estado maiores impõem distâncias maiores no espaço de características.
• Resultado: Força amostras do mesmo estado a agruparem-se estreitamente através de condições e separa estados vizinhos com base na sua diferença física.

Fase 2: Raciocínio de Observação para Estado Fundamentado em Metadados

• Objetivo: Impedir que o modelo salte diretamente para uma resposta holística; forçar um processo de raciocínio fundamentado.
• Mecanismo: Ajuste Fino Supervisionado (SFT) com etapas intermédias estruturadas. O modelo é treinado para produzir uma cadeia de pensamento que explicitamente:
  1. Identifica o indicador (ponteiro).
  2. Estima a sua posição relativa ao mostrador.
  3. Mapeia esta posição para a escala calibrada.
  4. Deriva o estado final.
• Resultado: O modelo aprende a fundamentar a sua previsão em evidências visuais em vez de atalhos de aparência.

Fase 3: Alinhamento de Objetivo Consciente de Estado

• Objetivo: Refinar o sinal de otimização para corresponder à natureza contínua dos valores do mostrador.
• Mecanismo: Substitui as recompensas discretas padrão de "Correspondência Exata" por uma recompensa contínua de distância de estado.
  • Utiliza uma função de recompensa Gaussiana: $r_{state} = \exp(-d_{state}^2 / 2\sigma^2)$, onde $d_{state}$ é o erro entre os valores previstos e os verdadeiros.
  • Otimizado via Otimização de Política Relativa por Grupos (GRPO), que amostra múltiplas saídas e normaliza as recompensas dentro do grupo.
• Resultado: O modelo é penalizado menos por estar "perto" da resposta e mais por estar longe, encorajando uma estimativa contínua precisa.

3. Contribuições Principais

1. Diagnóstico de Consistência de Estado: O artigo define e diagnostica formalmente a "consistência de estado" como a capacidade em falta nos MLLMs para leitura de mostradores. Fornece evidências (através de sondagem do espaço de características) de que os modelos atuais organizam as características pela aparência, e não pelo estado.
2. Benchmarks Controlados: Introdução de um pipeline de síntese que desacopla o estado da aparência, permitindo testes rigorosos de invariância e sensibilidade que conjuntos de dados do mundo real não podem fornecer.
3. Framework TriSCA: Um método unificado de treino em três fases que alinha representações, raciocínio e objetivos com a geometria intrínseca das tarefas de mostrador.
4. Validação Empírica: Demonstrou melhorias significativas na robustez contra desvios de ponto de vista/iluminação e transferibilidade para benchmarks do mundo real.

4. Resultados Experimentais

Os autores avaliaram o TriSCA em benchmarks sintéticos controlados (Relógios e Manómetros) e no MeasureBench externo.

• Robustez a Desvios de Aparência:
  • Modelos de base (por exemplo, Qwen3-VL, Molmo) sofreram quedas acentuadas de precisão (por exemplo, de ~5% para ~2%) sob mudanças de ponto de vista/iluminação.
  • O TriSCA manteve alta precisão, mostrando uma degradação significativamente mais lenta à medida que a severidade da perturbação aumentava.
• Métricas de Desempenho:
  • Benchmarks Controlados: O TriSCA alcançou 37,4% de precisão em relógios (vs. 5,1% da base) e 26,2% em manómetros (vs. 1,7% da base) na condição mais difícil "Combinada".
  • Análise do Espaço de Características: Após o alinhamento, o Recall@1 para recuperação de mesmo estado melhorou de 77,33% para 90,00%, e o Escore de Silhueta (qualidade do agrupamento) melhorou de 0,07 para 0,34, confirmando uma melhor organização de estado.
  • Generalização do Mundo Real (MeasureBench): Na categoria "Mostrador" do MeasureBench, o TriSCA melhorou a precisão do modelo de código aberto em +16,5% (Mundo Real) e +3,0% (Sintético) sobre o modelo base, enquanto o desempenho em categorias não relacionadas permaneceu estável.
• Precisão Contínua: O TriSCA reduziu significativamente o Erro Absoluto Médio (MAE), provando que, mesmo quando as correspondências exatas falham, as previsões estão muito mais próximas do valor verdadeiro.

5. Significado

• Para Além da Precisão: O artigo desloca o foco de simplesmente "obter a resposta certa" para compreender como o modelo representa o mundo. Argumenta que, para tarefas físicas, a geometria interna do espaço de características deve corresponder à geometria física da tarefa.
• Generalizabilidade: Embora focado em mostradores, a metodologia (alinhamento consistente de estado) oferece um modelo para melhorar os MLLMs em qualquer tarefa que exija estimativa precisa de estado físico (por exemplo, escalas lineares, displays compostos).
• Impacto Prático: Os resultados sugerem que a leitura automatizada fiável de medidores, inspeção robótica e monitorização crítica para a segurança são alcançáveis com MLLMs se forem treinados com alinhamento consistente de estado em vez de apenas ajuste fino supervisionado padrão.