FeedAIde: Guiding App Users to Submit Rich Feedback Reports by Asking Context-Aware Follow-Up Questions

O artigo apresenta o FeedAIde, um sistema baseado em Modelos de Linguagem Multimodais que guia os usuários a fornecerem relatórios de feedback mais ricos e completos por meio de perguntas de acompanhamento adaptativas ao contexto, demonstrando em um estudo de caso que essa abordagem melhora tanto a experiência do usuário quanto a qualidade das informações recebidas pelos desenvolvedores.

O essencial

Imagine que você está tentando explicar um problema para um mecânico de carro, mas em vez de poder mostrar o carro ou descrever o barulho estranho, você só tem um bilhete de papel e uma caneta. Você escreve: "O carro faz um barulho". O mecânico lê, coça a cabeça e pergunta: "Que barulho? É de freio? É do motor? Em que velocidade? Você trocou o óleo recentemente?".

Você teria que voltar, pegar o carro, fazer o barulho de novo e escrever tudo isso. É chato, demorado e você provavelmente desiste.

É exatamente assim que funciona o feedback de aplicativos hoje em dia. Você usa um app, algo dá errado, e você tem que escrever um texto longo e detalhado em uma caixinha de "Fale conosco". O resultado? Muitas vezes, o desenvolvedor recebe um bilhete vago como "O app travou" e precisa gastar horas perguntando: "Onde travou? O que você estava fazendo? Qual seu celular?".

O artigo que você leu apresenta uma solução genial chamada FeedAide. Vamos entender como ele funciona usando uma analogia simples.

O FeedAide é como um "Detetive Inteligente" ou um "Guia Turístico"

Imagine que, em vez de apenas uma caixinha de texto, o aplicativo tem um assistente pessoal superinteligente (um "Detetive") que está sempre observando o que você faz, mas de forma respeitosa.

1. O Cenário (A Analogia do Detetive):
   Quando você sente que algo deu errado no app, em vez de abrir um formulário chato, você apenas "sacode" o celular ou aperta um botão. Imediatamente, o FeedAide olha para a tela do seu celular (como uma foto instantânea) e vê o que você estava fazendo.

   • Exemplo: Você estava tentando entrar no app e a tela ficou branca. O Detetive vê a foto da tela branca e sabe que você está com problemas de login.

2. A Pergunta Certa (O Guia Turístico):
   Em vez de você ter que pensar em tudo o que dizer, o Detetive já sabe o que perguntar. Ele não pergunta "O que houve?" (que é vago). Ele pergunta coisas inteligentes baseadas no que ele viu:

   • "Vi que você tentou entrar três vezes. Você mudou sua senha recentemente?"
   • "Você está em um lugar com internet ruim ou usando Wi-Fi?"
   • "O problema acontece só no seu celular ou no de outra pessoa também?"

   Ele faz isso de forma conversacional, como se fosse um amigo te ajudando a contar a história, mas de forma rápida e direta.

3. O Relatório Rico (O Mapa Completo):
   No final, o Detetive pega todas as suas respostas simples, junta com a foto da tela, com as informações do seu celular (modelo, versão do sistema) e cria um relatório perfeito para o desenvolvedor.

   • Antes: "O app travou." (O desenvolvedor fica confuso).
   • Com FeedAide: "O usuário tentou fazer login no iPhone 13 com iOS 17.5. A tela ficou branca após 3 tentativas. O usuário confirmou que a senha foi alterada ontem. O problema não ocorre no Wi-Fi, apenas no 4G." (O desenvolvedor sabe exatamente o que consertar).

O que os pesquisadores descobriram?

Eles testaram essa ideia em um aplicativo de academia (para funcionários usarem). Eles pediram para os usuários reportarem problemas de duas formas:

1. O jeito antigo: Apenas escrevendo em uma caixa de texto.
2. O jeito novo (FeedAide): Conversando com o assistente inteligente.

Os resultados foram incríveis:

• Para os Usuários: Eles acharam o FeedAide muito mais fácil e útil. Era como se o app "entendesse" o que eles queriam dizer. Eles não precisavam pensar tanto em como escrever o problema.
• Para os Desenvolvedores: Os relatórios gerados pelo FeedAide eram muito mais completos. Tinham mais detalhes, fotos e passos exatos do que aconteceu. Os especialistas avaliaram que esses relatórios eram de "alta qualidade", enquanto os antigos eram frequentemente incompletos ou confusos.

Por que isso é importante?

Hoje, muitos aplicativos têm milhares de reclamações, mas a maioria é inútil porque falta informação. Isso gera frustração para o usuário (que acha que ninguém se importa) e para o desenvolvedor (que perde tempo tentando descobrir o que está errado).

O FeedAide usa uma tecnologia chamada Inteligência Artificial Multimodal (que consegue "ver" a tela e "ler" o contexto) para preencher essa lacuna. Ele transforma uma reclamação vaga em uma solução rápida.

Em resumo

Pense no FeedAide como um tradutor mágico entre o usuário comum e o desenvolvedor técnico.

• Sem ele: É como tentar explicar um filme estranho descrevendo apenas a capa do DVD.
• Com ele: É como se o filme fosse reproduzido, com legendas e notas de rodapé explicando exatamente onde a cena deu errado.

O estudo mostra que, com a ajuda certa da Inteligência Artificial, podemos fazer com que os aplicativos sejam mais inteligentes, os usuários se sintam mais ouvidos e os desenvolvedores consertem as coisas muito mais rápido. É uma vitória para todos!

Resumo técnico

Resumo Técnico: FeedAide

1. O Problema

O feedback dos usuários é crucial para o sucesso de aplicativos móveis, mas existe uma lacuna significativa entre o que os usuários relatam e o que os desenvolvedores precisam para corrigir bugs ou implementar funcionalidades.

• Qualidade Insuficiente: Usuários frequentemente submetem relatórios vagos, não estruturados e sem detalhes contextuais essenciais (como passos para reproduzir um erro ou informações do dispositivo).
• Custo de Esclarecimento: Isso resulta em relatórios incompletos, levando a discussões demoradas de esclarecimento. Estudos indicam que cerca de 45% das respostas dos desenvolvedores em lojas de aplicativos pedem mais detalhes, e muitos usuários não respondem ou demoram dias para fazê-lo.
• Limitações das Abordagens Atuais: Soluções anteriores tentaram apoiar o relatório de feedback, mas nenhuma utilizou dados contextuais (capturas de tela, logs de interação, informações do dispositivo) combinados com capacidades de IA Generativa (GenAI) para guiar o usuário em tempo real e simplificar a experiência.

2. Metodologia e Abordagem (FeedAide)

O artigo propõe o FeedAide, uma abordagem de feedback interativa e consciente de contexto que utiliza Modelos de Linguagem Multimodal (MLLMs) para auxiliar os usuários durante o processo de reporte.

• Fluxo de Trabalho:

  1. Captura de Contexto: Quando o usuário ativa o sistema (ex: gesto de "shake" ou botão), o framework captura automaticamente uma captura de tela da tela atual, detalhes do dispositivo, versão do app e logs de interação recentes.
  2. Geração de Previsões: O MLLM analisa o contexto e gera previsões concisas sobre o que o usuário pode querer relatar (ex: "Bug no login", "Solicitação de modo escuro"). O usuário seleciona uma opção ou escreve a sua própria.
  3. Perguntas de Acompanhamento Adaptativas: Com base na seleção e no contexto capturado, o modelo formula perguntas de acompanhamento específicas (ex: "Você mudou a senha recentemente?", "O erro ocorre em outro dispositivo?") para preencher lacunas de informação.
  4. Relatório Rico: O sistema consolida todas as informações (contexto, respostas do usuário, resumo) em um relatório estruturado (JSON) enviado aos desenvolvedores.

• Implementação Técnica:

  • Framework iOS: Implementado como um Swift Package reutilizável, utilizando SwiftUI para a interface.
  • Integração de IA: Utiliza a biblioteca AIProxy para conectar-se a APIs de LLMs (como OpenAI) de forma segura, mantendo as chaves de API fora do binário do aplicativo e verificando a legitimidade do dispositivo.
  • Engenharia de Prompt: O prompt do LLM é dividido em três seções: (1) Configuração e Restrições (definindo o papel do sistema e limitando o número de perguntas a 2), (2) Descrição do App (para que o modelo entenda a funcionalidade), e (3) Informações de Contexto (dinâmicas, incluindo JSON de eventos e imagem). O modelo é instruído a não parecer uma conversa com uma IA, mas sim um sistema de feedback eficiente.

3. Contribuições Principais

1. Novo Paradigma de Feedback: Introdução de um sistema que utiliza MLLMs para guiar ativamente os usuários na criação de relatórios ricos, substituindo formulários estáticos por diálogos adaptativos baseados em contexto.
2. Framework iOS Funcional: Desenvolvimento e disponibilização de uma implementação prática (Swift Package) que integra captura de contexto e geração de perguntas adaptativas.
3. Validação Empírica: Realização de um estudo de usuário controlado e uma avaliação por especialistas em um aplicativo de academia real, fornecendo dados quantitativos e qualitativos sobre a eficácia da abordagem.

4. Resultados da Avaliação

O estudo foi conduzido com 7 usuários reais de um aplicativo de academia (PPEmployee), que relataram 4 cenários (2 bugs e 2 solicitações de recursos) usando tanto o formulário tradicional quanto o FeedAide.

• Percepção do Usuário (RQ1):

  • Facilidade de Uso: O FeedAide foi classificado significativamente mais fácil (média de 3.71/4) em comparação ao formulário tradicional (2.86/4).
  • Utilidade: A percepção de utilidade triplicou, passando de 1.14/4 (tradicional) para 3.43/4 (FeedAide).
  • Feedback Qualitativo: Os usuários elogiaram a redução do esforço cognitivo ("não preciso explicar tudo") e a compreensão do contexto pelo sistema. As principais críticas foram o tempo de carregamento (10-20s) e a necessidade de um botão de reporte mais visível.

• Qualidade do Relatório (RQ2) - Avaliação de Especialistas:

  • Dois especialistas (um desenvolvedor iOS e um especialista em UX) avaliaram 54 relatórios.
  • Relatórios de Bugs: O FeedAide produziu relatórios substancialmente mais completos.
    • Passos para Reproduzir: 100% de completude no FeedAide (captura automática de logs) vs. ~0% no tradicional.
    • Comportamento Observado: Média de 1.50/2 no FeedAide vs. 0.93/2 no tradicional.
  • Solicitações de Recursos: O FeedAide garantiu a presença de resumos e descrições em 100% dos casos, enquanto o sistema tradicional frequentemente falhava em fornecer descrições detalhadas.
  • Observação Crítica: Os especialistas notaram que, embora o FeedAide melhore a completude, as perguntas de acompanhamento às vezes focam em refinar a solução em vez de descobrir a causa raiz do problema, o que é um ponto de melhoria para o modelo.

5. Significado e Conclusão

O estudo demonstra que sistemas de feedback orientados por GenAI e conscientes de contexto têm o potencial de:

• Melhorar a Experiência do Usuário: Reduzindo a fricção e o esforço necessário para relatar problemas.
• Aumentar o Valor para Desenvolvedores: Fornecendo relatórios mais ricos, estruturados e completos, diminuindo a necessidade de ciclos de esclarecimento assíncronos.
• Futuro e Desafios: O artigo destaca a necessidade de abordar a privacidade (processamento de dados sensíveis e capturas de tela) e sugere o uso de modelos locais (on-device) para mitigar riscos de segurança. Além disso, aponta para a necessidade de refinar as estratégias de perguntas para focar mais na descoberta da causa raiz do que na solução imediata.

Em suma, o FeedAide valida a transição de formulários de feedback estáticos para experiências interativas e inteligentes, alinhando-se com a evolução da Engenharia de Software assistida por IA.