Resumo Técnico: X-OmniClaw

Declaração do Problema

A evolução dos Modelos de Linguagem de Grande Escala (LLMs) está migrando para Modelos de Linguagem de Grande Escala Multimodais (MLLMs) capazes de execução autônoma de tarefas. Embora soluções existentes como o Doubao Phone tenham demonstrado viabilidade de engenharia para orquestração entre aplicativos no Android, elas frequentemente carecem de controle profundo para lógica definida pelo usuário e personalização. Por outro lado, frameworks como o OpenClaw oferecem execução robusta e controlável, mas permanecem centrados na execução no lado do PC, desconectando-os dos contextos dinâmicos e em tempo real exigidos para interação móvel. Além disso, as arquiteturas atuais de agentes móveis dependem predominantemente de paradigmas centrados na nuvem (por exemplo, RedFinger, Wuying), onde os agentes operam em ambientes remotos virtualizados. Essa abordagem cria uma desconexão do hardware local autêntico do usuário (sensores, câmeras), das configurações do sistema e dos dados privados, ao mesmo tempo que falha em atender à necessidade de governança pelo usuário final e frameworks de execução personalizáveis.

Metodologia

O X-OmniClaw introduz um agente móvel unificado e nativo de borda, projetado especificamente para o ecossistema Android. Diferentemente dos modelos centrados na nuvem, sua lógica central reside inteiramente no dispositivo local do usuário, utilizando o smartphone como uma interface persistente para fluxos de dados multimodais. O sistema é construído sobre uma pilha fortemente acoplada de três módulos co-projetados: Percepção Omni, Memória Omni e Ação Omni.

1. Percepção Omni (Entrada Multimodal Unificada)

Este módulo serve como entrada sensorial do sistema, integrando três domínios: estados de UI na tela, contextos visuais do mundo real e entradas de voz.

• Entrada Unificada: Consolida gatilhos diversos (interações do usuário na UI, widgets do sistema, entrada de microfone, tarefas agendadas e gateways remotos) em um único pipeline. Utiliza o AlarmManager do Android para manter caminhos de despertar para tarefas agendadas mesmo em estados de baixo consumo de energia.
• Percepção Integrada: Emprega um pipeline de streaming desacoplado que captura fluxos de câmera, projeções de tela e transcrição de fala em tempo real. Inclui cancelamento adaptativo de eco acústico (AEC) no dispositivo para lidar com interferências de áudio.
• Compreensão de Intenção Ancorada na Cena: Um Modelo Visão-Linguagem (VLM) interpreta a cena visual juntamente com consultas do usuário. Expande entradas brutas em intenções semânticas estruturadas. Se uma consulta puder ser respondida diretamente a partir da cena, responde imediatamente; caso contrário, decompõe a solicitação em um formato estruturado para o Loop do Agente.

2. Memória Omni (Contexto de Runtime e Longo Prazo)

Este módulo garante continuidade de tarefas e personalização unificando a memória de trabalho de curto prazo com o conhecimento pessoal de longo prazo.

• Memória de Trabalho: Mantém um contexto de runtime multimodal através de múltiplas interações e trocas de aplicativos, incluindo capturas de tela, observações semânticas comprimidas e estados de execução. Isso permite que o agente retome tarefas sem perder o contexto.
• Memória de Longo Prazo: Destila informações multimodais de dados pessoais locais (por exemplo, fotos da galeria, trajetórias de interação) em artefatos de memória persistentes e perfis de usuário. Estes são transformados em registros semânticos estruturados e compactos (por exemplo, identificação de objetos e cenas em fotos) em vez de imagens brutas.
• Coordenação de Ferramentas-Habilidade: A produção de memória (sincronização, sumarização) e o consumo (recuperação, Q&A) são separados. Uma etapa de filtragem de segurança precede a escrita na memória para remover informações sensíveis. Os usuários mantêm controle explícito sobre a ativação da memória e a injeção de perfis.

3. Ação Omni (Ancoragem e Execução Híbridas)

Este módulo executa tarefas combinando metadados XML estruturados com percepção visual para lidar com a heterogeneidade das interfaces Android.

• Compreensão Híbrida de UI: O sistema usa uma estratégia dinâmica que aproveita sinais XML quando confiáveis, mas recorre à ancoragem visual (via modelos no dispositivo) e OCR quando as pistas estruturais são fracas ou ambíguas (por exemplo, em interfaces cheias de anúncios).
• Clonagem de Comportamento e Replay de Trajetória: Em vez de execução de um único tiro, o sistema registra a navegação do usuário para criar "habilidades" reutilizáveis.
  • Clonagem: Captura a intenção semântica da trajetória do usuário (por exemplo, "pular para um modelo de vídeo específico") em vez de cliques literais. Extrai parâmetros deeplink e intent via introspecção dumpsys para contornar replays de UI redundantes.
  • Replay: Quando uma habilidade é invocada, o sistema tenta pular diretamente para o estado-alvo usando o deeplink ou intent capturado. Se a entrada direta falhar, emprega uma estratégia de fallback multinível (por exemplo, restauração da pilha de tarefas) para recuperar a página.

Contribuições Principais

• Arquitetura Nativa de Borda: O X-OmniClaw muda o paradigma de máquinas virtuais hospedadas na nuvem para execução no dispositivo, permitindo acesso direto a sensores locais, dados privados e configurações do sistema, mantendo a privacidade.
• Framework Unificado de Percepção para Ação: Integra estado de UI, visão do mundo real e áudio em um único loop coerente, indo além da automação isolada baseada em capturas de tela.
• Estratégia de Ancoragem Híbrida: Ao combinar XML estrutural com percepção visual, o sistema alcança interação robusta em ambientes móveis complexos e visualmente desordenados onde métodos tradicionais falham.
• Execução por Clonagem de Trajetória: O sistema transforma navegação complexa do usuário em habilidades de alto nível reutilizáveis via clonagem de comportamento e extração de deeplink, permitindo execução precisa de acesso direto e reduzindo a dependência de replays passo a passo frágeis.

Resultados e Demonstrações

O artigo apresenta três cenários de demonstração validando as capacidades do sistema:

1. Assistente Copiloto do Mundo Real:
   • Execução Informada pela Câmera: O agente identifica um produto via câmera, infere intenção de compra e usa um deeplink para abrir o aplicativo de destino (por exemplo, Taobao), subsequentemente rolando e extraindo dados estruturados (preços, avaliações) via leitura baseada em VLM.
   • Execução ScreenAvatar: Um companheiro flutuante executa tarefas de cadeia longa e múltiplos passos (por exemplo, resolvendo uma série de problemas) interpretando continuamente estados de tela ao vivo e atualizando estratégias de execução.
2. Serviços Proativos Personalizados:
   • Vídeo de Um Toque Baseado em Memória: O sistema organiza proativamente fotos em memória semântica durante tempo ocioso. Ao receber um comando de voz, recupera ativos correspondentes ao tema e usa um deeplink para pular diretamente para um aplicativo de edição de vídeo (CapCut), selecionando fotos em lote e gerando um vídeo sem navegação manual.
3. Clonagem de Comportamento e Replay de Trajetória:
   • Portal Instantâneo: O sistema permite que os usuários clonem um caminho de navegação complexo (por exemplo, alcançar uma página específica de liquidação relâmpago no Meituan) em uma habilidade. Consultas subsequentes acionam um lançamento direto via deeplinks capturados ou métodos de restauração de fallback, contornando a navegação de múltiplas páginas.

Significado e Alegações

Os autores afirmam que o X-OmniClaw fornece um projeto arquitetônico prático para a próxima geração de assistentes pessoais nativos móveis. Seu significado reside em:

• Ponte da Lacuna: Conecta a execução arquitetônica com a autonomia nativa móvel, permitindo que agentes utilizem contexto do mundo real para tarefas digitais.
• Aumento de Eficiência e Confiabilidade: Ao aproveitar a clonagem de comportamento e a ancoragem híbrida, o sistema melhora a eficiência de interação e a confiabilidade de tarefas em ambientes diversos e centrados em dispositivos móveis.
• Privacidade e Controle: O design nativo de borda elimina a necessidade de identidades na nuvem e mantém dados brutos locais, abordando preocupações relacionadas à privacidade e governança do usuário.
• Pesquisa Aberta: O projeto é conduzido para pesquisa acadêmica com o compromisso de tornar todo o código e ativos de código aberto para fomentar o desenvolvimento impulsionado pela comunidade.

O artigo conclui que, embora o sistema atual aborde questões de controlabilidade e transparência encontradas em frameworks existentes, trabalhos futuros focarão em trajetórias de execução autoevolutivas, evolução dinâmica de memória (consolidação semântica e esquecimento seletivo) e sinergia otimizada dispositivo-nuvem.