Resumo Técnico: Mem-W: Agentes de GUI Nativos de Memória Latente

Declaração do Problema

Agentes de Interface Gráfica do Usuário (GUI) estão cada vez mais encarregados de operar ambientes complexos e de longo horizonte nas plataformas web, móvel e desktop. O controle bem-sucedido nesses cenários exige que o agente retenha evidências visuais, procedimentais e de nível de tarefa que se estendem muito além da tela imediata. No entanto, as abordagens atuais tratam a memória como um artefato externo e legível por humanos. Sistemas existentes tipicamente resumem, categorizam e recuperam históricos de interação como texto ou registros estruturados (por exemplo, grafos, listas ou estados em camadas) antes de recodificá-los na política do modelo.

Isso cria uma incompatibilidade representacional fundamental: a experiência é armazenada em um formato simbólico (texto/registros estruturados) que difere da sequência contínua de incorporação latente sobre a qual os Modelos Visão-Linguagem (VLMs) modernos realmente operam. Isso exige traduções repetidas entre formatos e força os designers a pré-definir ontologias de memória (categorias, formatos de representação e regras de interface) que podem não alinhar-se com as necessidades estruturais específicas das tarefas a jusante. Os autores postulam que esse paradigma "ontologia-primeiro" limita a capacidade do agente de aprender organicamente quais informações são relevantes para o sucesso da tarefa.

Metodologia: Mem-W

O artigo introduz o Mem-W, uma série de agentes de GUI nativos de memória latente projetados para eliminar a lacuna entre o armazenamento de memória e a execução da política. Em vez de andaimes simbólicos externos, o Mem-W trata a memória como uma parte contínua do contexto do agente, tecida diretamente no espaço de incorporação.

Arquitetura Central

1. Espaço Latente Unificado: O Mem-W unifica duas escalas distintas de memória em um único espaço aprendível:
   • Memória Experiencial: Trajetórias históricas de longo horizonte e entre sessões recuperadas de um banco externo.
   • Memória de Trabalho: Histórico de curto horizonte e dentro da sessão (o "prefixo expirado" do episódio atual).
2. Compressor de Trajetória para Latente ($C_\phi$): Um compressor compartilhado e leve (implementado como um transformador baseado em consultas seguindo o design Q-Former) mapeia segmentos de observação-ação de comprimento variável em blocos latentes de tamanho fixo ($K \times d$).
   • Processa tanto trajetórias históricas recuperadas quanto o prefixo expirado do episódio atual.
   • Incorpora uma incorporação de resultado ($\gamma(y)$) que codifica se uma trajetória resultou em sucesso ou falha, permitindo que o agente distinga a polaridade procedimental sem regras de filtragem explícitas.
   • Para memória de trabalho online onde o resultado é desconhecido, é usado um marcador especial "desconhecido".
3. Tecelagem de Dupla Escala: Na inferência, os tokens de memória comprimidos são tecidos com a observação atual da GUI e o contexto local em uma única sequência contínua de incorporação. A política do agente de GUI congelada ($\Pi_\theta$) então atende a essa sequência unificada como contexto nativo, em vez de como notas externas.

Estratégia de Treinamento

O Mem-W emprega um procedimento de treinamento em duas etapas para otimizar os parâmetros do compressor ($\phi$), mantendo o agente de GUI principal ($\Pi_\theta$) congelado:

1. Etapa 1: Auto-Destilação: O compressor aprende a substituir o contexto histórico bruto. Um agente "professor" observa uma janela bruta estendida de histórico, enquanto um agente "aluno" observa a entrada aumentada com latentes. O objetivo minimiza a divergência entre as distribuições de ação do professor e do aluno, forçando os tokens latentes a capturar o estado relevante para a decisão.
2. Etapa 2: Supervisão Consciente de Resultado: O sistema otimiza o compressor usando feedback do ambiente (recompensas terminais). Usando um objetivo de gradiente de política (especificamente baseado em RLOO), o compressor aprende a codificar evidências que levam ao sucesso da tarefa e filtrar padrões que induzem falha, guiado pelas incorporações de resultado.

Contribuições Principais

• Formulação Unificada: O artigo reconfigura a hierarquia intrincada da memória de GUI como um único problema de representação latente. Argumenta que a memória de trabalho e a memória experiencial podem ser compactamente fundamentadas em um espaço aprendível onde a estrutura relevante para a tarefa emerge via otimização de ponta a ponta, removendo a necessidade de taxonomias prescritas.
• Instanciação Aprendível: O Mem-W fornece uma implementação concreta usando um compressor compartilhado de trajetória para latente. Isso permite que tanto dados históricos recuperados quanto prefixos de episódios online sejam projetados em um espaço latente unificado, treinados via auto-destilação e supervisão consciente de resultado.
• Evidência Empírica: Experimentos extensivos demonstram que essa abordagem melhora consistentemente backbones diversos e supera agentes equipados com arquiteturas de memória projetadas manualmente.

Resultados Experimentais

O Mem-W foi avaliado em quatro benchmarks: Multimodal-Mind2Web, MMInA (navegação web), GUI-Odyssey e AndroidControl-v2 (navegação móvel).

• Ganhos de Desempenho: O Mem-W melhorou consistentemente o desempenho em todos os backbones testados (incluindo UI-TARS, Qwen3-VL e UI-Venus).
  • No MMInA, o Mem-W alcançou ganhos de até +30,0 pontos percentuais sobre modelos de base (por exemplo, o UI-Venus-1.5-8B melhorou de 18,5% para 48,5%).
  • No Multimodal-Mind2Web, as melhorias variaram de +8,83 a +20,58 pontos, dependendo do backbone e do subconjunto de tarefas.
  • No AndroidControl-v2, o Mem-W-8B alcançou uma pontuação Pass@4 de 81,16, superando modelos proprietários como GPT-5+UGround e bases de código aberto maiores.
• Comparação com Agentes Aumentados por Memória: O Mem-W superou agentes existentes aumentados por memória (por exemplo, ReasoningBank, AWM, CoMEM, HyMEM). Os autores atribuem isso à capacidade do Mem-W de destilar dinamicamente trajetórias em resumos latentes compactos e relevantes para a decisão e ao seu uso de supervisão consciente de resultado, enquanto os concorrentes frequentemente dependem de truncamento grosseiro ou imitação de trajetórias de especialistas sem condicionamento explícito de sucesso/falha.
• Eficiência: Apesar da etapa adicional de compressão, o Mem-W manteve uma relação favorável entre precisão e eficiência, frequentemente reduzindo o número de etapas necessárias para completar tarefas e diminuindo a taxa de atingir limites máximos de etapas em comparação com as bases.
• Escalabilidade: O desempenho escalou positivamente com o tamanho do banco de memória externo (até 50 mil trajetórias) e o número de trajetórias recuperadas, indicando que o sistema explora efetivamente reservatórios maiores de experiência.

Significado e Alegações

O artigo afirma que a memória nativa de contexto latente serve como uma base escalável para a agência de GUI de longo horizonte. Ao tratar a memória como um substrato contínuo em vez de um andaime simbólico externo, o Mem-W permite que o agente "leia" sucessos, falhas e progresso inacabado através da mesma interface nativa da máquina usada para observações atuais.

Os autores concluem que o gargalo na agência de GUI de longo horizonte não é meramente a escala do modelo, mas como o histórico de interação e a experiência prévia são representados e expostos à política. O Mem-W demonstra que uma interface latente unificada e aprendível de ponta a ponta pode substituir hierarquias de memória prescritas, permitindo que estruturas de memória relevantes para a tarefa surjam naturalmente do treinamento. Essa perspectiva sugere um caminho para agentes multimodais interativos cuja competência é construída sobre interfaces de contexto latente aprendidas, em vez de módulos de memória projetados manualmente.