Resumo Técnico: Grandes Modelos de Linguagem para Geração de Entrada de Texto em GUIs Móveis: Um Estudo Empírico

1. Declaração do Problema

Os aplicativos móveis tornaram-se ubíquos, tornando o controle de qualidade crítico. Embora o teste de Interface Gráfica do Usuário (GUI) seja um método padrão para garantir a qualidade dos apps, a exploração automatizada enfrenta um gargalo significativo: componentes de entrada de texto. Diferente de ações simples de clique ou deslize, muitas páginas de UI exigem entradas de texto semanticamente apropriadas (por exemplo, formatos de e-mail específicos, nomes de locais válidos ou restrições de senha) para transitar para as telas subsequentes. Ferramentas automatizadas tradicionais frequentemente falham aqui, gerando strings aleatórias (ex: "hello world") que não satisfazem o contexto do app, levando a uma exploração de UI incompleta e baixa cobertura.

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado potencial na geração de textos contextuais, permanece incerto como diferentes representações de contexto de UI (textual vs. visual vs. estrutural), feedback de execução e intervenção humana afetam a eficácia da geração de entrada de texto baseada em LLM para testes de GUI Android. Há uma falta de evidência empírica sistemática comparando esses fatores entre modelos de última geração.

2. Metodologia

Os autores realizaram um estudo empírico de larga escala envolvendo nove LLMs de última geração (SOTA).

2.1 Configuração Experimental

• Sujeitos: 115 aplicativos Android coletados do Google Play (fornecendo 115 páginas de UI com 183 componentes de entrada de texto) e 37 bugs reais relacionados à entrada de texto coletados do F-Droid e GitHub.
• Modelos: Nove LLMs foram selecionados com base em rankings de leaderboards (Chatbot Arena+ e LLM Arena), disponibilidade e suporte multimodal (texto e visão). Estes incluíram modelos proprietários (ex: GPT-5.4, Claude-4.6, Gemini-3.1) e modelos de pesos abertos (ex: Qwen3.5, Mistral-large-3).
• Tarefas:
  1. Passagem de Página (PPTR - Page Pass-Through): Gerar entradas de texto válidas para navegar da página de UI atual para a próxima.
  2. Detecção de Bugs (BDR - Bug Detection): Gerar entradas de texto inválidas para disparar bugs específicos e conhecidos relacionados à entrada de texto.

2.2 Estratégias de Prompting

O estudo avaliou três configurações distintas de prompting de contexto de UI:

1. Prompting de Contexto Extraído: Usa descrições em linguagem natural extraídas da hierarquia da UI, incluindo contexto do componente (texto de dica, ID de recurso), contexto adjacente (rótulos próximos) e contexto global (nome do app, nome da atividade).
2. Prompting de Hierarquia-XML da UI: Alimenta o LLM diretamente com o XML da hierarquia da UI bruta (obtida via UIAutomator), expondo a árvore estrutural completa.
3. Prompting de Visão por Screenshot: Utiliza a imagem do screenshot da página de UI combinada com um prompt textual, aproveitando as capacidades multimodais.

2.3 Protocolo de Feedback

Um protocolo de geração aprimorado por feedback foi testado, onde tentativas falhas (erros de parsing, falhas de validação ou resultados de execução) são alimentadas de volta ao LLM em um novo prompt para guiar as tentativas de geração subsequentes.

2.4 Avaliação Humana

Testadores profissionais (20 para avaliação, 3 para modificação) avaliaram a qualidade das entradas geradas pelo LLM e tentaram reconstruir ou modificar essas entradas para melhorar a eficácia.

2.5 Integração

As entradas de texto geradas pelo LLM foram integradas ao DroidBot, uma ferramenta conhecida de teste automatizado de Android, para avaliar melhorias nas capacidades de exploração de UI sob estratégias de Busca em Profundidade (DFS) e Busca em Largura (BFS).

3. Principais Contribuições

1. Estudo Empírico Abrangente: O primeiro estudo a comparar sistematicamente três configurações de prompting de contexto de UI (texto extraído, XML, screenshot) através de nove LLMs recentes para geração de entrada de texto Android.
2. Avaliação do Protocolo de Feedback: Uma avaliação de um protocolo de geração aprimorado por feedback tanto para tarefas de passagem de página quanto de detecção de bugs.
3. Análise Humano-no-Loop: Uma comparação quantitativa de entradas geradas por LLM contra entradas geradas e modificadas por testadores.
4. Integração de Ferramenta: Integração das capacidades de LLM no DroidBot para demonstrar melhorias práticas nos fluxos de trabalho de teste automatizado.
5. Insights Práticos: Seis insights específicos para a comunidade de testes Android sobre as trocas (trade-offs) entre custo, eficácia e o papel do feedback e do refinamento humano.

4. Principais Resultados

4.1 Eficácia do Prompting (RQ1)

• Passagem de Página: O prompting de contexto extraído e o de hierarquia-XML de UI alcançaram taxas de Passagem de Página (PPTR) semelhantes de 71,4% e 71,0%, respectivamente. O prompting de visão por screenshot foi ligeiramente inferior, com 65,1%.
• Eficiência de Custo: O prompting de contexto extraído foi significativamente mais econômico, exigindo uma média de 1.272,7 tokens por tentativa. Em contraste, o prompting baseado em XML exigiu 7.896,6 tokens, e o de visão por screenshot exigiu 5.664,5 tokens.
• Detecção de Bugs: As três configurações alcançaram taxas de Detecção de Bugs (BDR) semelhantes em 30 tentativas (~51%). No entanto, o contexto extraído permaneceu como o mais econômico, enquanto o XML e a visão incorreram em custos de tokens substancialmente maiores sem ganhos significativos de BDR.
• Diferenças de Modelos: A análise estatística mostrou que, para uma configuração específica de prompting, a maioria dos pares de LLM não exibiu diferenças significativas de desempenho. A escolha da estratégia de prompting teve um impacto maior do que a escolha do LLM específico.

4.2 Protocolo de Feedback (RQ2)

• Passagem de Página: O feedback melhorou o PPTR médio de 69,18% para 73,78% (um ganho de 4,60 pp). A melhoria foi estatisticamente significativa, mas modesta.
• Detecção de Bugs: O feedback teve um impacto mais substancial aqui, aumentando o BDR médio de 50,95% para 64,46% (um ganho de 13,51 pp).
• Custo: O protocolo de feedback aumentou significativamente o uso de tokens e a latência, particularmente para a detecção de bugs (a latência aumentou de ~35s para ~506s por tentativa em média).

4.3 Avaliação e Modificação Humana (RQ3)

• Avaliação: Testadores classificaram as entradas de passagem de página válidas de forma alta (pontuação média ~4,1/5), mas classificaram as entradas de detecção de bugs inválidas de forma mais baixa (média ~3,2/5), observando que os LLMs tiveram dificuldade em gerar as entradas inválidas específicas e diversas necessárias para disparar bugs.
• Modificação: Quando testadores profissionais modificaram as entradas geradas pelo LLM, a eficácia melhorou dramaticamente.
  • Passagem de Página: O PPTR aumentou de 59,75% (baseline do LLM) para 90,00% (modificado pelo testador).
  • Detecção de Bugs: O BDR aumentou de 36,10% (baseline do LLM) para 100,00% (modificado pelo testador).
  • Os testadores utilizaram o histórico de execução e descrições de bugs específicas para refinar as entradas, uma capacidade que os prompts estáticos do LLM não possuíam.

4.4 Significância Prática (RQ4)

• Integração de Ferramenta: Integrar entradas de texto contextuais geradas por LLM no DroidBot aumentou a exploração de páginas de UI em 36,06% (DFS) e 26,41% (BFS) em comparação com a ferramenta original.
• Insights: O estudo conclui que o contexto extraído é o padrão prático para custo-benefício; o feedback é valioso para casos difíceis, mas caro; e o refinamento humano é altamente eficaz para casos de borda (edge cases).

5. Significância e Alegações

O artigo afirma que avança o conhecimento da comunidade de testes Android ao fornecer evidências empíricas sobre como utilizar efetivamente LLMs para geração de entrada de texto em GUI.

• Custo-Benefício: Estabelece que extrair o contexto textual relevante é frequentemente superior a alimentar o modelo com XML bruto ou screenshots devido à diferença massiva de custo de tokens, com perda negligenciável de eficácia para navegação de página.
• Utilidade do Feedback: Demonstra que, embora os loops de feedback melhorem a detecção de bugs significativamente, eles trazem alta latência e custos de tokens, sendo adequados apenas para cenários de teste de alto valor e alta dificuldade.
• Colaboração Humano-IA: O estudo destaca que, embora os LLMs forneçam uma base sólida, testadores profissionais podem reduzir drasticamente a lacuna para 100% de eficácia ao modificar entradas com base nos resultados de execução e gatilhos de bugs específicos.
• Melhoria de Ferramentas: Valida que aumentar ferramentas tradicionais automatizadas (como o DroidBot) com entradas contextuais geradas por LLM pode aumentar substancialmente a cobertura de UI, abordando uma limitação conhecida da geração de inputs aleatórios ou estáticos.

Os autores mantêm uma postura modesta, observando que suas descobertas baseiam-se em amostras específicas (115 apps, 37 bugs) e versões atuais de LLMs, e que os resultados podem variar com diferentes arquiteturas de apps ou futuras iterações de modelos. Eles enfatizam que o estudo oferece diretrizes práticas em vez de regras universais para todos os cenários de teste Android.