Resumo Técnico: MIRAGE (Agentes Móveis com Raciocínio Implícito e Modelos de Mundo Generativos)

1. Definição do Problema

Agentes móveis, que operam aplicações cotidianas a partir de capturas de tela e objetivos em linguagem, enfrentam um compromisso crítico entre capacidade de raciocínio e eficiência de implantação. Os sistemas de estado da arte atuais (ex: UI-TARS, MAI-UI) dependem de Cadeia de Pensamento (CoT) explícita, onde os modelos geram racionales textuais verbosos antes de executar ações. Embora isso melhore a tomada de decisão, introduz um overhead significativo:

• Ineficiência: Gerar pensamentos textuais longos aumenta a latência de decodificação e o consumo de tokens, retardando o controle interativo.
• Custo: A supervisão requer dados de rationale escritos por humanos ou sintéticos, aumentando os custos de treinamento.
• Restrições de Implantação: Em cenários móveis do mundo real, cada token extra atrasa o feedback, tornando o raciocínio explícito impraticável para aplicações de baixa latência.

O desafio central é preservar a capacidade de raciocínio de múltiplos passos e de previsão de estados futuros da CoT explícita, eliminando o custo de decodificar pensamentos intermediários em texto visível.

2. Metodologia

O MIRAGE aborda isso deslocando o raciocínio do fluxo de tokens visíveis para o espaço latente contínuo. O framework emprega um pipeline de treinamento de dois estágios e introduz dois componentes inovadores: o Refinamento Latente Paralelo Aproximado (APLR) e um cabeçalho de Modelo de Mundo Q-Former.

2.1 Formulação de Pensamento Latente

Em vez de gerar uma sequência de tokens de texto $\tau_t$ seguida por uma ação $a_t$, o MIRAGE gera uma sequência de variáveis latentes contínuas $z_t = (z_{t,1}, \dots, z_{t,N})$ dentro do contexto do decodificador. Esses slots latentes representam os "pensamentos" internos do agente (observação, rationale e previsão futura) sem serem desetiquetados (detokenizados). O processo de inferência decodifica apenas os tokens de ação finais, reduzindo drasticamente o comprimento da saída.

2.2 Refinamento Latente Paralelo Aproximado (APLR)

Para treinar o modelo para raciocinar efetivamente no espaço latente sem o custo proibitivo da geração serial, o MIRAGE introduz o APLR.

• Conceito: A CoT latente tradicional exige refinamento serial (um passo por vez), o que é computacionalmente caro. O APLR trata o bloco de pensamento como $N$ slots e os refina em paralelo ao longo de $K$ rodadas (estilo Jacobi).
• Mecanismo: Em cada rodada $k$, todos os slots latentes $z_i^{(k+1)}$ são atualizados simultaneamente usando os valores da rodada $k$.
• Garantia Teórica: O método fornece um limite provável de erro de aproximação. Após $K$ rodadas, os primeiros $K$ slots latentes correspondem exatamente à solução serial, enquanto os slots de "cauda" restantes retêm um erro limitado.
• Eficiência: Isso reduz o custo de treinamento de $N$ passagens seriais para um pequeno número de passagens síncronas ($K \ll N$), tipicamente $K=3$.

2.3 Alinhamento de Modelo de Mundo via Q-Former

Uma limitação do refinamento paralelo é que os slots latentes de "cauda" (que frequentemente contêm previsões de estados futuros) podem não ser suficientemente supervisionados por uma perda de apenas ação. Para resolver isso, o MIRAGE integra uma perspectiva de Modelo de Mundo:

• Objetivo: O modelo é treinado para prever as características visuais da próxima captura de tela ($x_{t+1}$) com base no estado de raciocínio latente atual.
• Arquitetura: Um cabeçalho Q-Former leve alinha os estados latentes refinados com as características visuais de gradiente interrompido (stop-gradient) extraídas da próxima captura de tela por um codificador de visão congelado.
• Benefício: Isso força os slots latentes a codificar a dinâmica do ambiente e as previsões de transição, evitando o colapso de representação e fornecendo supervisão densa para a dimensão de "previsão" do processo de pensamento.

2.4 Pipeline de Treinamento de Dois Estágios

1. Estágio 1 (Aquecimento de CoT Explícita): O modelo é treinado em traços de texto estruturados contendo blocos de <THOUGHT> (observação, rationale, previsão) e <ACTION>. Isso ensina a base o espaço de ação móvel e os padrões de raciocínio.
2. Estágio 2 (Destilação Latente): O bloco de texto <THOUGHT> é substituído por slots latentes. O modelo é treinado usando APLR para refinamento e o cabeçalho Q-Former para alinhamento do modelo de mundo. A função de perda conjunta combina a Entropia Cruzada de Ação ($L_{ce}$) e a perda de alinhamento do Modelo de Mundo ($L_{wm}$).

3. Principais Contribuições

O artigo reivindica três contribuições primárias:

1. Framework MIRAGE: Um agente móvel que raciocina inteiramente no espaço latente, alcançando o desempenho da CoT explícita com 3 a 5 vezes menos tokens decodificados e latência de inferência significativamente menor.
2. APLR: Um procedimento de refinamento paralelo estilo Jacobi que aproxima a CoT latente serial completa a uma fração do custo de treinamento, com um limite teórico no erro de aproximação dos slots de cauda.
3. Cabeçalho de Modelo de Mundo Q-Former: Um mecanismo que alinha os estados de raciocínio latente com as características da próxima captura de tela, permitindo que o agente antecipe transições de estado da GUI e melhore a capacidade da tarefa sem gerar pixels ou texto durante a inferência.

4. Resultados Experimentais

O MIRAGE foi avaliado no AndroidControl (seguimento de instruções e precisão de ação) e no AndroidWorld (conclusão de tarefas dinâmicas no dispositivo).

• AndroidControl:

  • O MIRAGE-4B melhorou o Exact Match (EM) de 68,48% para 77,59% e a Precisão de Ação de 75,15% para 91,09% em comparação com a linha de base Qwen3-VL-4B.
  • Redução de Tokens: A média de tokens gerados por passo caiu de ~115 para ~19 (uma redução de 83%).
  • Latência: A latência do primeiro ao último token foi reduzida de 1,8$\times$ a 2$\times$ em comparação com bases fortes.

• AndroidWorld:

  • O MIRAGE-4B alcançou uma Taxa de Sucesso de Tarefa (SR) de 52,6%, superando a linha de base Qwen3-VL-4B (42,9%) em 9,7 pontos percentuais.
  • O MIRAGE-8B alcançou um SR de 57,8%, uma melhoria de 10,2 pontos sobre sua linha de base.
  • Eficiência: Apesar das taxas de sucesso mais altas, os modelos MIRAGE geraram ~70–75% menos tokens que suas linhas de base.

• Estudos de Ablação:

  • Remover o objetivo do Modelo de Mundo (apenas APLR) resultou em menor desempenho (48,2% SR vs. 52,6% para o MIRAGE completo), confirmando a necessidade do alinhamento de estado futuro para refinar os slots latentes de cauda.
  • Reduzir os slots latentes de 9 para 3 degradou significativamente o desempenho, destacando a necessidade de capacidade contínua suficiente para representar o raciocínio complexo.

5. Significância e Alegações

O artigo posiciona o MIRAGE como uma solução para o "gargalo de raciocínio" em agentes móveis. Ele afirma que:

• O Raciocínio Implícito é Viável: O raciocínio de alta qualidade não requer saídas textuais verbosas; ele pode ser efetivamente comprimido em estados latentes.
• Eficiência sem Sacrifício: Ao desacoplar o cálculo de raciocínio do fluxo de tokens, os agentes podem alcançar a robustez da CoT explícita enquanto atendem às estritas restrições de latência e orçamento de tokens para implantação móvel.
• Previsão de Estado Futuro: Integrar objetivos de modelo de mundo diretamente no processo de raciocínio latente permite que os agentes antecipem mudanças na interface, uma capacidade anteriormente difícil de manter em representações latentes compactas.

Os autores reconhecem limitações, observando que a abordagem atual depende de treinamento supervisionado, utiliza modelagem de mundo em nível de característica (em vez de nível de pixel) e requer salvaguardas de privacidade e segurança antes da implantação no mundo real.