Resumo Técnico: Compreendendo as Experiências de Usuário de Agentes de Uso de Computador

Declaração do Problema

Agentes de uso de computador — sistemas de IA generativa que automatizam ações dentro de interfaces de usuário (UIs) com base em comandos do usuário — estão surgindo rapidamente em ambientes de desktop, dispositivos móveis e web. Embora a pesquisa atual priorize fortemente o treinamento e a avaliação dos Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem Multimodais (MLLMs) subjacentes, o design da Experiência do Usuário (UX) desses agentes permanece significativamente subestudado.

As diretrizes de design existentes para agentes foram desenvolvidas em grande parte em contextos pré-LLM e não abordam os desafios únicos introduzidos pela IA generativa moderna, como a incerteza de capacidade, a complexidade da saída e a necessidade de integrar perspectivas de design, aprendizado de máquina e engenharia. Consequentemente, há uma falta de um mapeamento abrangente do espaço de design de UX de agentes e uma escassez de ferramentas para apoiar designers e desenvolvedores na prototipagem dessas experiências. Essa lacuna deixa os profissionais sem um vocabulário compartilhado para o design de agentes ou o suporte necessário para explorar diferentes paradigmas de interação (por exemplo, variando níveis de proatividade, autonomia e transparência).

Metodologia

Os autores conduziram um programa de pesquisa em três fases para abordar duas Questões de Pesquisa (RQs) primárias:

1. RQ1: Quais são as considerações de design de UX de agentes de uso de computador?
2. RQ2: Qual suporte é útil para prototipar a UX em agentes de uso de computador?

Fase 1: Desenvolvimento de Taxonomia (RQ1)

Para mapear o espaço de design, os autores empregaram uma abordagem de métodos mistos:

• Revisão de Literatura e de Produtos: A equipe revisou 11 agentes de uso de computador de última geração (anunciados entre 2024–2025) em plataformas desktop, browser e mobile.
• Entrevistas com Especialistas: Oito profissionais de UX e IA foram entrevistados para refinar a taxonomia inicial, identificando temas ausentes e estendendo subtemas.
• Validação Wizard-of-Oz: Um estudo com 20 usuários finais envolveu a interação com um agente fictício (controlado por um pesquisador) para completar tarefas nos domínios de reserva de férias e e-commerce. Isso validou as subcategorias da taxonomia e garantiu que elas refletissem as preocupações reais dos usuários.
• Análise: Análise temática e codificação provisória foram usadas para sintetizar os achados em uma taxonomia estruturada.

Fase 2: Elicitação de Requisitos (RQ2)

Para entender o suporte necessário para a prototipagem, os autores realizaram um estudo de elicitação de requisitos:

• Participantes: 12 participantes (6 especialistas em agentes, 6 não especialistas) de uma grande empresa de tecnologia.
• Protocolo: Os participantes refletiram sobre fatores de UX de agentes através de entrevistas e interações com agentes fictícios. Eles revisaram exemplos de padrões de agentes e discutiram desafios de design e desenvolvimento.
• Análise: A análise qualitativa das transcrições identificou Atividades principais no processo de prototipagem e derivou Capacidades Desejadas para um sistema de prototipagem.

Fase 3: Prova de Design e Estudo Empírico (RQ2)

• Desenvolvimento da Ferramenta: Os autores construíram o AgentUXlab, uma prova de design de alta fidelidade (não um produto implantável) que instancia os requisitos de design e a taxonomia identificados. Ele apresenta um editor de fluxo de trabalho gráfico e sem código (no-code) e um ambiente de execução baseado em navegador.
• Estudo Empírico com Usuários: 14 participantes com diversos históricos (engenheiros, designers, gerentes de produto, engenheiros de ML) usaram o AgentUXlab para prototipar a UX de um agente para um site de pedidos de café.
• Protocolo: Os participantes participaram de um onboarding de 30 minutos, um exercício de prototipagem de 30 minutos (projetando um agente para um site real) e uma entrevista de saída de 30 minutos. Eles foram incentivados a "pensar em voz alta" enquanto projetavam, executavam e depuravam seus agentes.

Principais Contribuições

1. Uma Taxonomia das Considerações de Design de UX de Agentes

O artigo apresenta uma taxonomia composta por quatro categorias principais e 21 subcategorias de considerações de UX:

• Consulta do Usuário (User Query): Abrange níveis de expressão, tempo das consultas, modalidade de entrada, perfis de usuário, tratamento de ambiguidade, fatores contextuais e segurança.
• Explicabilidade das Atividades do Agente: Inclui visibilidade de ações, retenção de histórico, descrições de ações, transparência de raciocínio (pensamentos), prévias de próximos passos, apresentação de planos e comunicação de status em tempo de execução.
• Controle do Usuário: Abrange intervenção durante a execução (parar/pausar, assumir o controle), tratamento de cenários de alto impacto (indicadores de risco, permissões), intervenção em planos e recuperação de erros/descoberta.
• Modelo Mental e Expectativas do Usuário: Aborda capacidades do agente, contexto da UI, o escopo do agente (o que ele pode acessar/controlar) e riscos (privacidade, danos potenciais).

2. Requisitos de Design para Sistemas de Prototipagem de UX de Agentes

Através do estudo de elicitação de requisitos, os autores identificaram cinco Atividades e seis Capacidades Desejadas que um sistema de prototipagem deve suportar:

• Atividades:
  • A1: Projetar o escopo e os limites do agente.
  • A2: Projetar a exibição de informações do agente.
  • A3: Projetar as interações entre o agente e o usuário.
  • A4: Executar o protótipo do agente.
  • A5: Compreender o comportamento do agente em tempo de execução.
• Capacidades Desejadas:
  • C1: Usar interfaces sem código (no-code).
  • C2: Ajudar a restringir o espaço de tarefas do agente e seu conhecimento sobre o usuário.
  • C3: Definir a UI do agente no chat e no ambiente.
  • C4: Fornecer componentes que permitam ao agente invocar diferentes interações com o usuário.
  • C5: Fornecer um ambiente para executar e controlar o agente.
  • C6: Ajudar a depurar o comportamento do agente em tempo de execução.

3. AgentUXlab

Os autores desenvolveram o AgentUXlab, uma prova de design que serve como uma instanciação concreta da taxonomia e dos requisitos. As principais características incluem:

• Aba de Fluxo de Trabalho (Workflow): Um editor gráfico baseado em nós onde desenvolvedores definem comportamentos do agente (nós) e condições (arestas). Suporta edição bidirecional com prompts de linguagem natural.
• Interface de Prompt: Permite engenharia de prompt estruturada, incluindo capacidades do agente, informações do usuário e instruções específicas.
• Interface de Execução: Uma extensão de navegador que executa o agente em sites reais, exibindo prévias de ações de UI, interações de chat e status de execução.
• Modo de Depuração (Debug): Fornece visibilidade profunda sobre as entradas do agente (screenshots, árvores de acessibilidade) e saídas (raciocínio, chamadas de ferramentas) para auxiliar na depuração.

Resultados e Achados

Achados sobre RQ1 (Espaço de Design)

A taxonomia validou com sucesso que o design de UX de agentes se estende além da simples automação de tarefas. Ela destaca dimensões críticas como transparência de raciocínio e modelos mentais do usuário, que são exacerbadas pela autonomia dos agentes modernos. O estudo confirmou que os usuários exigem indicadores claros das ações do agente, a capacidade de intervir em cenários de alto risco e mecanismos para gerenciar expectativas em relação às capacidades e ao escopo do agente.

Achados sobre RQ2 (Suporte à Prototipagem)

O estudo empírico com o AgentUXlab gerou vários insights sobre o processo de prototipagem:

• Notações de Fluxo de Trabalho como Visualização vs. Autoria: Embora os participantes tenham valorizado as notações de fluxo de trabalho para visualizar o comportamento do agente e a lógica de depuração, muitos acharam difícil a autoria. A notação foi frequentemente mais eficaz como uma ferramenta de visualização do que como um mecanismo primário de autoria.
• Necessidades de Informação Divergentes: Existe um conflito entre as necessidades de informação de usuários finais (que preferem menos informação para evitar sobrecarga) e prototipadores (que exigem logs detalhados, raciocínio e estado da UI para depurar). Ferramentas eficazes devem suportar o teste de diferentes personas.
• Andaime para Modelos Mentais: Os participantes tiveram dificuldade em formar modelos mentais precisos das capacidades do agente, particularmente em relação às ferramentas disponíveis e restrições. Fornecer listas claras de ferramentas acessíveis e componentes de interação ajudou a estruturar o espaço de design.
• Desafios de Depuração: Os participantes acharam difícil interpretar árvores de acessibilidade brutas e raciocínios alucinados. Eles dependeram fortemente de pausar a execução para processar informações, sugerindo a necessidade de melhores controles para desacelerar ou reproduzir as ações do agente.
• Linguagem Natural vs. Estrutura: Embora os prompts de linguagem natural oferecessem flexibilidade, os participantes muitas vezes careciam de agência para fazer modificações finas sem suportes adicionais.

Significância e Alegações

Os autores posicionam este trabalho como um passo fundamental para compreender e projetar a UX de agentes de uso de computador.

• Vocabulário Compartilhado: A taxonomia fornece um vocabulário estruturado para designers e pesquisadores raciocinarem sobre fatores de UX de agentes, preenchendo a lacuna entre a literatura inicial de agentes de interface e a IA generativa moderna.
• Ferramental de Prototipagem: Ao identificar atividades e capacidades específicas, o artigo argumenta que as futuras ferramentas de desenvolvimento de agentes devem ir além de simples construtores de fluxo de trabalho para incluir recursos que suportem preocupações específicas de UX, como transparência, controle do usuário e alinhamento do modelo mental.
• Utilidade da Prova de Design: O AgentUXlab demonstra que as provas de design são instrumentos eficazes para explorar espaços de design emergentes onde ferramentas implantáveis ainda não existem. Valida a hipótesia de que uma abordagem visual e sem código pode ajudar desenvolvedores a explorar as trocas entre autonomia e controle.
• Escopo Modesto: Os autores explicitamente observam que a taxonomia é baseada em um conjunto específico de agentes e pode não ser exaustiva (por exemplo, acessibilidade não foi coberta). Da mesma forma, o AgentUXlab é uma prova de pesquisa para agentes web, e os achados podem exigir validação adicional para ambientes desktop ou mobile. Os resultados são apresentados como hipóteses para estudos controlados futuros, em vez de soluções definitivas.

Em resumo, o artigo argumenta que, à medida que os agentes de uso de computador se tornam mais autônomos, o foco deve mudar do puro desempenho do modelo para o design centrado no humano da interação, necessitando de novas ferramentas e frameworks que suportem a exploração iterativa da UX de agentes.