🤖 AI

Human-AI Agent Interaction in a Business Context

Este estudo utiliza uma abordagem de métodos mistos para identificar e avaliar princípios, critérios e elementos de design para otimizar as interações entre humanos e agentes de IA em contextos de negócios, visando melhorar a experiência do usuário, construir confiança e facilitar a adoção.

Autores originais: Kathrin Paimann, Elizangela Valarini, Sebastian Juhl

Publicado 2026-06-19

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kathrin Paimann, Elizangela Valarini, Sebastian Juhl

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um novo funcionário para sua empresa. Este não é um humano normal, embora; é um assistente robô superinteligente e incansável (um "Agente de IA") que pode planejar seu próprio dia, tomar decisões e conversar com você naturalmente.

O artigo de Paimann, Valarini e Juhl faz uma pergunta simples, mas crucial: Como projetamos este robô para que os humanos realmente confiem nele, trabalhem com ele e não se sintam assustados com a perda de controle?

Aqui está a história da pesquisa deles, dividida em conceitos simples.

1. O Problema: Regras Antigas Não se Ajustam aos Novos Robôs

No passado, o software era como uma calculadora: você apertava um botão e ele dava uma resposta. Você estava sempre no comando. Mas esses novos agentes de IA são mais como um copiloto. Eles podem voar o avião sozinhos por um tempo, mas podem cometer erros ou ficar confusos.

Os autores descobriram que as velhas regras para projetar software (Experiência do Usuário ou UX) não funcionam aqui. Você não pode apenas deixar o robô bonito; você tem que descobrir como fazer com que ele pareça seguro e confiável quando estiver tomando decisões por conta própria.

2. O Trabalho de Detetive: Como Eles Estudaram Isso

Para resolver isso, os pesquisadores atuaram como detetives usando uma abordagem de "métodos mistos" (usando muitas ferramentas diferentes para obter o quadro completo). Eles não apenas adivinharam; eles reuniram evidências de:

Workshops: Sentar com especialistas (como arquitetos de software e gerentes de produto) para fazer um brainstorming sobre o que torna um bom parceiro robô.
Pesquisas: Perguntar a centenas de pessoas para classificar o que é mais importante.
Entrevistas: Ter conversas profundas para entender por que as pessoas se sentiam daquela maneira.
Experimentos: Mostrar às pessoas diferentes versões de uma interface de robô para ver qual elas preferiam.

3. As Grandes Descobertas: As 8 Regras da Estrada

Após todo o seu trabalho de detetive, eles identificaram 8 Regras de Ouro para fazer uma relação humano-IA funcionar em um negócio. Pense nestas como as "leis de trânsito" para agentes de IA.

Aqui estão elas, classificadas pelo nível de importância para os usuários de negócios:

Controle Humano (O "Botão Vermelho"): Esta foi a prioridade nº 1. Os humanos devem sempre sentir que são os capitães. O robô pode dirigir, mas o humano deve ter o poder de pisar no freio, anular a decisão ou dizer "pare" a qualquer momento.
Confiabilidade e Segurança (O "Cinto de Segurança"): O robô deve ser preciso. Se ele começar a inventar coisas (alucinações) ou dar conselhos errados, a confiança é quebrada imediatamente. Ele precisa ser tão confiável quanto um cinto de segurança.
Privacidade e Governança (O "Cofre"): O robô deve respeitar segredos. Ele deve mostrar apenas as informações que você tem permissão para ver e deve proteger os dados da empresa ferozmente.
Consciência de Contexto (A "Memória"): Um bom robô lembra quem você é e o que você está fazendo. Ele não deve dar o mesmo conselho a um CEO que dá a um estagiário, e deve saber se você está olhando para um relatório de envio ou uma folha de pagamento.
Transparência (A "Lanterna"): O robô precisa explicar por que fez algo. Se ele toma uma decisão, deve ser capaz de dizer: "Eu fiz isso por causa de X, Y e Z".
Integração de Ecossistema (O "Canivete Suíço"): O robô não deve viver em um vácuo. Ele precisa trabalhar perfeitamente com todos os outros aplicativos e ferramentas que a empresa já utiliza, para que os humanos não precisem copiar e colar dados de um lado para o outro.
Parceiro Colaborativo (O "Colega de Equipe"): O robô deve parecer um parceiro que te ajuda, não um substituto. Ele deve saber quando pedir sua aprovação antes de dar um passo importante.
Capacidade de Resposta (A "Educação"): Deve ser fácil de usar e rápido para responder. Embora importante, o estudo descobriu que isso é o "básico" — se for lento, você não o usará, mas se for rápido, isso não o torna automaticamente mais confiável do que as regras de segurança acima.

4. O Experimento: O Que Realmente Faz as Pessoas Clicarem "Sim"?

Os pesquisadores não pararam apenas em perguntar o que as pessoas queriam. Eles realizaram um experimento específico para ver o que realmente fazia as pessoas escolherem um design de robô em vez de outro.

Eles criaram um cenário fictício: um trabalhador de logística usando uma IA para descobrir como carregar caminhões. Eles mostraram ao trabalhador diferentes versões da tela:

Versão A: O robô apenas faz o seu trabalho.
Versão B: O robô explica seu raciocínio e mostra suas fontes de dados.
Versão C: O robô tem um botão grande de "Pausa".

O Resultado Surpreendente:
Os pesquisadores esperavam que o botão "Pausa/Parar" fosse o recurso mais popular. No entanto, os dados mostraram algo diferente: A Transparência foi a verdadeira vencedora.

Quando o robô mostrava seu trabalho — explicando como chegou a uma conclusão, mostrando de onde obteve seus dados e listando os próximos passos — as pessoas eram 37% mais propensas a escolher essa versão.

Curiosamente, a capacidade de simplesmente "pausar" o robô teve um efeito muito menor. Por quê? Porque as pessoas perceberam que, se não conseguirem ver o que o robô está pensando, apertar "pausa" não as ajuda a entender o problema. Elas precisam da "Lanterna" (transparência) antes de precisarem do "Freio" (pausa).

5. A Conclusão Final

O artigo conclui que, para construir agentes de IA bem-sucedidos para negócios, as empresas não devem focar apenas em tornar a IA mais inteligente. Elas precisam far foco em tornar a IA explicável e controlável.

Não construa apenas uma caixa preta. Construa um robô que segure uma lanterna para que você possa ver o trabalho dele.
Não construa apenas uma ferramenta. Construa um parceiro que saiba quando pedir sua permissão.
A confiança é construída sobre a compreensão. Se um humano puder ver a lógica por trás das ações do robô, ele terá muito mais probabilidade de confiar nele em tarefas de negócios importantes.

Em resumo: Se você quer que os humanos trabalhem com agentes de IA, certifique-se de que o agente possa explicar o dever de casa dele, e certifique-se de que o humano sempre segure a borracha.

Resumo Técnico: Interação Humano-Agente de IA em um Contexto de Negócios

Declaração do Problema

A rápida integração da IA de agentes — sistemas autônomos e orientados a objetivos, capazes de planejar ações de múltiplas etapas e interagir via linguagem natural — nos fluxos de trabalho empresariais superou o desenvolvimento de frameworks de Experiência do Usuário (UX) apropriados. As práticas tradicionais de UX, projetadas para ferramentas estáticas controladas por humanos, são insuficientes para gerenciar a complexidade, a autonomia e a natureza adaptativa dos agentes de IA. Embora a literatura existente ofereça frameworks conceituais para a IA Centrada no Humano (HCAI) e ética de IA geral (ex: controlabilidade, explicabilidade), há uma carência crítica de princípios de design e critérios mensuráveis, empiricamente validados e específicos para negócios para a interação humano-agente. As diretrizes atuais focam frequentemente em produtos voltados ao consumidor, em vez de fluxos de trabalho corporativos, deixando uma lacuna na compreensão de como projetar agentes que satisfaçam os requisitos do usuário, construam confiança e apoiem a tomada de decisão em ambientes organizacionais.

Metodologia

O estudo utiliza um design de pesquisa de métodos mistos para desenvolver, validar e priorizar princípios de UX para agentes de IA de negócios. A pesquisa procede através de cinco fases distintas envolvendo uma amostra total de 210 participantes de diversos papéis (desenvolvedores, arquitetos, proprietários de produtos, cientistas de dados e analistas de negócios) e indústrias (TI, manufatura, saúde, finanças, etc.):

Workshop de Design Participativo: Uma sessão presencial de 60 minutos com 21 especialistas do domínio para explorar princípios iniciais, necessidades e riscos percebidos relativos aos agentes de IA.
Revisão de Especialistas e Meta-Análise: Cinco especialistas em domínio de IA revisaram os achados do workshop, seguidos por uma meta-análise qualitativa de um corpus de publicações revisadas por pares e padrões (ex: NIST, frameworks de HCAI) para sintetizar um framework teórico.
Pesquisa de Papel e Caneta: Um questionário autoaplicável com 28 participantes para validar o framework sintetizado e priorizar os princípios de UX identificados com base na importância em um contexto de negócios.
Entrevistas em Profundidade: 12 entrevistas semiestruturadas com participantes da pesquisa para contextualizar sua priorização, explorando o raciocínio, valores e fatores organizacionais por trás de seus julgamentos.
Experimento Conjunto (Conjoint): Um experimento de escolha baseada em escolha conjunta online com 107 respondentes para quantificar o impacto causal de elementos de design específicos (critérios de UX) nas preferências do usuário. Esta fase focou especificamente no princípio de maior prioridade, Controle Humano, operacionalizando três critérios: Capacidade de interromper/pausar agentes, Transparência do raciocínio do agente e Responsabilidade/tomada de decisão humana.

Principais Contribuições

O estudo traz três contribuições primárias para o campo da Interação Humano-Computador (HCI) e da IA Centrada no Humano:

Um Framework Validado: Identifica e estrutura oito princípios centrais de UX especificamente para a interação humano-agente de IA em ambientes de negócios.
Critérios Mensuráveis: Deriva critérios específicos e acionáveis para cada princípio, traduzindo conceitos abstratos em requisitos de design.
Diretrizes de Design Baseadas em Evidências: Fornece evidências empíricas sobre a importância relativa desses princípios e o impacto causal de características de design específicas na preferência do usuário, indo além da teoria conceitual para o guia prático de desenvolvimento de produtos.

Resultados

1. Os Oito Princípios de UX Validados

A pesquisa identificou e classificou os seguintes princípios com base em sua importância em um contexto de negócios (Tabela 4 no artigo):

Controle Humano: Classificado como a maior prioridade. Os usuários exigem supervisão significativa, a capacidade de intervir/sobrescrever e mecanismos claros de responsabilidade.
Confiabilidade, Segurança e Robustez: Tratados como uma linha de base não negociável. Os agentes devem fornecer saídas precisas e atualizadas sem alucinações.
Privacidade de Dados e Governança: Altamente críticos, particularmente em setores regulamentados. Requer controles de acesso baseados em funções e aplicação rigorosa de privacidade.
Consciência de Contexto: Os agentes devem entender o papel do usuário, permissões e o contexto da tarefa atual para fornecer assistência relevante.
Transparência e Explicabilidade: Essenciais para verificação e confiança, embora a profundidade da explicação necessária varie conforme a complexidade da tarefa e a experiência do usuário.
Integração de Ecossistema: Os agentes devem se integrar perfeitamente às aplicações e fluxos de trabalho corporativos existentes.
Parceiro Colaborativo: Agentes devem atuar como colegas de equipe que orquestram fluxos de trabalho enquanto respeitam os limites de aprovação humana.
Responsividade e Intuitividade: Considerados um requisito básico de usabilidade; a baixa qualidade da interação compromete a adoção, independentemente da qualidade do output.

2. Achados do Experimento Conjunto

Focando no princípio de Controle Humano, o experimento conjunto (1.139 tarefas de escolha) revelou os seguintes efeitos causais na preferência do usuário por telas de protótipo:

Transparência do Agente (Impacto Mais Forte): Aumentar a transparência de "baixa" (indicador de carregamento simples) para "alta" (raciocínio detalhado, fontes de dados, próximos passos) aumentou a probabilidade de um protótipo ser selecionado em 37,79 pontos percentuais (95% CI: [31,93; 41,94]).
Responsabilidade Humana: Adicionar uma mensagem de aviso para recomendações de baixa confiança aumentou a probabilidade de seleção em 22,46 pontos percentuais (95% CI: [15,92; 28,17]).
Capacidade de Parar/Pausar: Permitir que os usuários pausem as ações do agente teve um efeito positivo, porém menor, aumentando a probabilidade de seleção em 5,11 pontos percentuais (95% CI: [0,00; 10,12]). Este resultado quase atingiu o nível de significância de 95% ( $p=0,0502$ ).

O estudo observa que, embora a transparência seja crítica, a necessidade de explicações detalhadas pode diminuir à medida que a confiança aumenta, sugerindo uma relação dinâmica entre confiança e requisitos de transparência.

Significância e Alegações

Os autores afirmam que este estudo fornece um framework fundamental, empiricamente validado para o design de interações humano-agente de IA em ambientes de negócios. Ao mover-se de frameworks conceituais para critérios mensuráveis, a pesquisa oferece um roteiro para equipes de desenvolvimento para:

Priorizar Elementos de Design: Os achados sugerem que, embora a usabilidade básica seja pressuposta, a transparência (especificamente quanto ao raciocínio, status e fontes de dados) e os sinais de responsabilidade são os drivers mais significativos da preferência do usuário no cenário de negócios estudado.
Equilibrar Autonomia e Controle: Os resultados apoiam uma filosofia de design onde os agentes são assistentes poderosos, mas permanecem inseridos em estruturas sociotécnicas de responsabilidade, com humanos retendo a autoridade final e a supervisão.
Informar a Governança: O estudo destaca que privacidade e governança não são meramente questões de infraestrutura de backend, mas preocupações críticas de design no nível de interação que impactam diretamente a confiança e a adoção do usuário.

Os autores mantêm a modéstia em relação às suas alegações, reconhecendo que os achados são específicos para usuários que já trabalham com ferramentas de IA em contextos de negócios e que a validade externa depende da compreensão dos respondentes sobre os cenários hipotéticos. Eles declaram explicitamente que o estudo não considera efeitos de tratamento heterogêneos entre subgrupos (ex: por indústria ou função) e que pesquisas adicionais são necessárias para explorar essas variações e implementações de design alternativas.