Resumo Técnico: Além do Paradigma da GUI

Declaração do Problema

A pesquisa atual em agentes móveis é dominada pelo paradigma da Interface Gráfica do Usuário (GUI), onde agentes percebem pixels de tela ou árvores de acessibilidade e emitem ações baseadas em toque (toques, deslizes, digitação). Embora eficaz para tarefas visíveis na tela, essa abordagem possui limitações inerentes: é cega para estados do sistema fora da tela (ex: histórico de bateria, processos em segundo plano, logs de notificações), é frágil a mudanças de layout e ineficiente para operações em massa ou fluxos de trabalho entre aplicativos que a superfície renderizada não expõe.

Este artigo argumenta que a Interface de Linha de Comando (CLI), acessível via Android Debug Bridge (ADB), merece "consideração de primeira classe" ao lado da GUI. A CLI oferece acesso direto e programático a serviços e dados do dispositivo sem renderizar pixels, potencialmente permitindo que agentes resolvam tarefas que são invisíveis ou ineficientes para agentes baseados em GUI. Os autores propõem duas questões centrais:

1. Viabilidade: Agentes de codificação gerais usando apenas ADB são competitivos com agentes de GUI que passaram por pós-treinamento em conjuntos de dados móveis?
2. Superioridade: Existem intenções cotidianas de usuários que são melhor atendidas pela CLI e que são atualmente ignoradas por benchmarks projetados para GUI?

Metodologia

Configuração Experimental

Os autores avaliaram três agentes de codificação de fronteira (Claude Code, Terminus-2, mini-swe-agent) através de quatro APIs de modelos em dois benchmarks interativos padrão: AndroidWorld (116 tarefas) e MobileWorld (117 tarefas de estado do dispositivo).

• Agentes CLI: Operaram em uma modalidade puramente textual, recebendo instruções de tarefa e o stdout do terminal (estado do sistema, respostas de banco de dados, erros) como entrada. Eles emitiam comandos de shell do ADB. Crucialmente, eles não receberam capturas de tela ou dados de hierarquia de UI e não foram pós-treinados especificamente para dispositivos móveis.
• Baselines: Três baselines de GUI reproduzíveis foram avaliados sob o mesmo protocolo: GUI-Owl-1.5-32B, MAI-UI-8B e Qwen3-VL-32B.
• Ferramentas: Para preencher a lacuna entre comandos de shell brutos e operações específicas do Android, os autores projetaram ferramentas de propósito geral (wrappers) para consultas SQL, E/S de arquivos, provedores de conteúdo, intents e serviços de backend. Essas ferramentas lidaram com o escape de shell e codificação base64 para evitar erros de citação.

Prompts de Sistema e Restrições

Os agentes CLI foram guiados por prompts de sistema derivados da documentação pública para desenvolvedores Android. Esses prompts impuseram um ciclo de interação de quatro fases (Descobrir, Inspecionar, Agir, Verificar) e uma hierarquia prioritária de mecanismos para modificar o estado do dispositivo (Provedores de Conteúdo > Serviços do Sistema > Escritas Diretas em Arquivos/DB). Os prompts proibiram explicitamente a observação de tela e incluíram estratégias para agrupamento de comandos (batching) e gestão de orçamentos de sondagem.

Construção do Oráculo

Para estabelecer o teto teórico do paradigma CLI, os autores construíram soluções "oráculo" via colaboração humano-LLM. Essas soluções foram revisadas manualmente para garantir que fossem solucionáveis via CLI e não vazassem os internos do verificador. Esse processo determinou quais tarefas eram estritamente "solucionáveis via CLI".

Conjunto de Tarefas de Vantagem da CLI (CLI-Advantage Task Suite)

Para abordar o viés de amostragem dos benchmarks existentes (que focam em tarefas visíveis via GUI), os autores introduziram um novo Conjunto de Tarefas de Vantagem da CLI composto por 45 modelos de tarefas em cinco categorias:

1. Operações em Massa: Aplicar mudanças a muitos itens (ex: "deletar todo arquivo .apk").
2. Filtragem de Múltiplas Condições: Selecionar itens baseados em restrições complexas (ex: "despesas acima da média").
3. Agregação e Top-K: Resumir dados não visíveis em uma única tela.
4. Fluxos de Trabalho Entre Apps: Combinar estados de múltiplos aplicativos.
5. Estado Oculto do Dispositivo: Consultar fatos de nível de sistema (ex: "quais apps têm permissão de localização").

Principais Resultados

Desempenho nos Benchmarks

• Competitividade: No AndroidWorld, o Claude Code (Opus 4.7) alcançou uma taxa de sucesso de 71,8%, superando todos os baselines de GUI reproduzíveis (variando de 57,8% a 69,3%). No MobileWorld, alcançou 51,9%, superando novamente os baselines de GUI (13,3% a 43,2%).
• Propriedade de Nível de Paradigma: A vantagem da CLI não se limitou a um único modelo. Mesmo com modelos mais fracos, as configurações de CLI permaneceram competitivas com os baselines de GUI.
• Teto do Oráculo: As soluções de Oráculo CLI atingiram 88,8% no AndroidWorld e 86,3% no MobileWorld, indicando espaço significativo para melhorias futuras nos agentes atuais.
• Eficiência: Os agentes CLI usaram substancialmente menos passos por tarefa em média (10,7 passos) comparado aos agentes de GUI (18,6 passos).

Desempenho do Conjunto de Vantagem da CLI

No Conjunto de Vantagem da CLI de 45 tarefas, a lacuna aumentou significativamente:

• Cada agente CLI superou cada baseline de GUI (CLI: 60,7%–68,9% vs. GUI: 22,2%–33,3%).
• Agentes de GUI tiveram dificuldades particularmente com Fluxos de trabalho entre apps (limitando-se a ≤11%) e tarefas de Agregação/Filtragem, onde os agentes CLI se destacaram devido à sua capacidade de realizar operações de nível de conjunto via pipes de shell e consultas de banco de dados.

Análise de Erros

A análise de nível de trajetória revelou modos de falha distintos:

• Agentes de GUI: Dominados por Repetição de Passo (35,9%) e Terminação Prematura (23,7%), frequentemente devido ao travamento em loops de UI ou falha em verificar mudanças de estado.
• Agentes de CLI: Dominados por Desobediência à Especificação (76,7%), frequentemente devido à escrita na superfície de dados errada ou formatação de valor incorreta.
• Impacto das Ferramentas: Para modelos mais fracos (ex: GPT-5.3 Codex), o uso de ferramentas tipadas melhorou significativamente as taxas de sucesso (até +14,3 pontos percentuais) e reduziu custos ao eliminar erros de citação de shell. No entanto, as ferramentas apresentaram retornos decrescentes para modelos mais fortes.

Significância e Alegações

O artigo afirma fornecer evidência empírica forte de que o paradigma CLI é uma alternativa viável e, muitas vezes, superior ao paradigma GUI, particularmente para tarefas envolvendo operações em massa, filtragem complexa e estados ocultos do sistema.

• Mudança de Paradigma: Os autores argumentam que a pesquisa de agentes móveis não deve se limitar à interação de GUI baseada em visão. A CLI oferece uma interface direta, eficiente e robusta para uma classe significativa de intenções de usuário que são atualmente não medidas pelos benchmarks existentes.
• Eficiência e Capacidade: Agentes CLI alcançam taxas de sucesso mais altas com menos passos, sugerindo que o raciocínio baseado em texto combinado com acesso direto ao sistema é mais eficaz para certas tarefas complexas de longo horizonte do que simular interações de toque humano.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem focar em:
  1. Engenharia de Ferramentas: Melhorar as superfícies de ferramentas e os prompts de descoberta de estado.
  2. Treinamento Especializado: Pós-treinar modelos menores de agentes de codificação especificamente para o ambiente de terminal Android para reduzir custos.
  3. Agentes Híbridos: Desenvolver agentes que particionem cargas de trabalho entre os paradigmas CLI e GUI, aproveitando as forças de ambos.

O artigo conclui que, embora os agentes CLI ainda não sejam um substituto completo para os agentes de GUI (especialmente para tarefas visuais), eles representam um caminho crítico e subutilizado para a automação móvel que merece atenção igual na comunidade de pesquisa.