Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making

Este estudo investiga como o fluxo de decisão, as explicações e a experiência do usuário influenciam a confiança e a dependência comportamental em sistemas de IA, revelando que a confiança declarada e o comportamento de reliance são construtos distintos e que o fluxo de decisão de dois passos não reduz necessariamente a superconfiança.

O essencial

Imagine que você está dirigindo um carro novo e muito inteligente. Esse carro tem um sistema de GPS que não só diz para onde ir, mas também sugere rotas, avisa sobre buracos e até tenta assumir o volante em algumas situações. O grande desafio não é fazer o carro ser perfeito, mas sim fazer você confiar nele na medida certa: nem tanto a ponto de ignorar seus próprios instintos quando ele está errado, e nem tão pouco a ponto de ignorar uma ajuda valiosa quando ele está certo.

Este estudo, feito por pesquisadores da Universidade de Bremen, é como um "laboratório de direção" para entender como as pessoas confiam nesses assistentes de IA. Eles queriam descobrir duas coisas principais:

1. Se o que a gente diz que sente (confiança) é igual ao que a gente faz (seguir ou ignorar a dica).
2. Se mudar a forma como a gente recebe a ajuda (ver a dica antes ou depois de pensar) faz diferença.

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. O "Relógio" e o "Relógio de Bolso" (Confiança vs. Ação)

Os pesquisadores descobriram algo curioso: o que as pessoas dizem que sentem não é exatamente o mesmo que o que elas fazem.

• A Analogia: Imagine que você pergunta a um amigo: "Você confia no meu novo carro?". Ele diz: "Sim, confio muito!". Mas, quando você pede para ele entrar no carro, ele hesita e prefere andar a pé.
• O que o estudo mostrou: As pessoas podem dizer que confiam na IA (no questionário), mas na hora da decisão, agem de forma diferente. E vice-versa. Portanto, os criadores de sistemas de IA não podem apenas perguntar "você confia?". Eles precisam observar como as pessoas agem. A confiança declarada e a confiança na prática são como dois relógios diferentes: às vezes marcam a mesma hora, mas muitas vezes não.

2. O Jogo do "Adivinhe Primeiro" (1 Passo vs. 2 Passos)

Um dos grandes debates é: é melhor mostrar a resposta da IA imediatamente (1 passo) ou fazer a pessoa pensar e dar sua própria resposta primeiro, e só depois mostrar a da IA (2 passos)?

• A Teoria: A ideia do "2 passos" era como um "treino de força mental". Acreditava-se que, se você fosse obrigado a pensar sozinho antes, não seria tão fácil deixar a IA "lavar o seu cérebro" e você aceitaria menos conselhos errados.
• A Realidade Surpreendente: O estudo descobriu que isso não funcionou como esperado. Na verdade, o método de "pensar primeiro" (2 passos) fez as pessoas confiarem mais na IA, mesmo quando ela estava errada!
• A Analogia: Imagine que você está em um jogo de perguntas e respostas.
  • No 1 passo, você vê a resposta do computador e pensa: "Ok, vou seguir".
  • No 2 passo, você pensa na sua resposta, escreve no papel, e depois vê a do computador.
  • O que aconteceu? As pessoas que escreveram a resposta primeiro sentiram que tinham "investido" tempo e esforço. Quando viram a resposta da IA, elas pensaram: "Nossa, eu já pensei nisso, e a IA também chegou a essa conclusão. Deve ser a resposta certa!". Isso as fez aceitar a IA com mais facilidade, mesmo quando a IA estava errada. Foi como se o esforço de pensar primeiro tivesse criado uma "ponte" que as levou a seguir a IA cegamente.

3. O "Manual de Instruções" (Explicações)

Outro ponto foi: será que explicar por que a IA chegou a uma conclusão ajuda?

• O Efeito Cruzado: A explicação não funcionou da mesma forma para todos.
  • No método de 2 passos (pensar primeiro), a explicação funcionou como um "selo de qualidade". As pessoas se sentiram mais seguras e confiaram mais.
  • No método de 1 passo (ver a resposta direto), a explicação às vezes fez as pessoas desconfiarem um pouco mais, como se dissesse: "Ei, espere, por que você está me explicando isso se já me deu a resposta?".
• A Lição: Não existe uma "fórmula mágica" única. O que funciona para explicar uma coisa depende de como a pessoa está interagindo com o sistema.

4. O "Especialista" vs. O "Leigo"

O estudo também olhou para o conhecimento das pessoas.

• Quem achava que sabia muito sobre o assunto (o "especialista") tendeu a confiar mais quando teve que pensar primeiro (2 passos) e ver a explicação.
• Quem achava que sabia pouco (o "leigo") tendeu a confiar mais quando a IA apareceu direto (1 passo).
• A Analogia: Se você é um cozinheiro experiente, gosta de ver a receita (explicação) e pensar no prato antes de ouvir o chef. Se você não sabe cozinhar, prefere que o chef diga: "Faça isso" e você apenas obedeça.

Conclusão: O Que Isso Significa para o Futuro?

O estudo nos dá um aviso importante: Não existe uma solução única para todos.

1. Não confie apenas no que as pessoas dizem: Se você está criando um app de IA, não pergunte apenas "você confia?". Olhe para o que as pessoas fazem.
2. Cuidado com o "Pensar Primeiro": A ideia de forçar o usuário a pensar antes de ver a IA parece boa na teoria, mas na prática, pode fazer as pessoas aceitarem erros da IA com mais facilidade.
3. Adapte-se: Se o usuário é um especialista, talvez o método de "2 passos com explicações" funcione melhor. Se é um leigo, talvez o método direto seja mais seguro.

Em resumo, a confiança na IA é como uma dança: depende de quem está dançando (o usuário), de qual música está tocando (o tipo de tarefa) e de como os passos são coreografados (o design do sistema). Não adianta tentar usar o mesmo passo de dança para todos os casais.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Not All Trust is the Same: Effects of Decision Workflow and Explanations in Human-AI Decision Making", estruturado conforme solicitado:

1. Problema e Motivação

O desafio central na tomada de decisão assistida por IA é alcançar uma confiança justificada e bem calibrada. A confiança descalibrada manifesta-se de duas formas prejudiciais:

• Superconfiança (Overtrust/Overreliance): O usuário aceita recomendações incorretas da IA.
• Subconfiança (Undertrust): O usuário rejeita conselhos corretos da IA.

A literatura existente apresenta lacunas importantes:

1. Fluxos de Decisão: Estudos anteriores variam entre setups de 1 passo (a sugestão da IA é mostrada imediatamente) e 2 passos (o usuário deve tomar uma decisão inicial antes de ver a sugestão da IA). A eficácia do setup de 2 passos na redução da superconfiança é debatida.
2. Medição de Confiança: Há uma distinção pouco clara entre confiança relatada (autoavaliação via questionários) e confiança comportamental (reliance, ou seja, a taxa de concordância ou mudança de decisão).
3. Interação com Explicações: Não está claro como a presença de explicações (XAI) interage com o fluxo de decisão e as características do usuário (conhecimento de domínio, experiência prévia).

2. Metodologia

Os autores conduziram um estudo online entre-sujeitos com N = 300 participantes.

• Cenário e Tarefa: Os participantes atuaram em um escritório de suporte estudantil fictício, decidindo se alunos do segundo ano estavam no caminho para se formar ou em risco de evasão. A decisão afetaria a alocação de recursos de suporte. O dataset continha dados acadêmicos e demográficos.
• Sistema de IA Simulado: Foi utilizado um setup "Wizard-of-Oz" para controlar a precisão. A IA teve uma precisão de 73%, alinhada com a precisão humana pré-estudada (70%), garantindo que o conhecimento fosse complementar (nem a IA nem o humano fossem sempre superiores).
• Design Experimental (2x2):
  • Fluxo de Decisão: 1 passo (IA mostra previsão imediatamente) vs. 2 passos (usuário decide primeiro, depois vê a IA).
  • Explicação: Com explicação (destaque de 3 características locais importantes) vs. Sem explicação.
• Variáveis Dependentes:
  • Confiança Relatada: Questionário HCT (Human Computer Trust) modificado.
  • Confiança Comportamental (Reliance): Taxa de concordância geral, taxa de superconfiança (aceitar IA errada) e taxa de troca (switch rate, apenas no grupo de 2 passos).
• Covariáveis: Conhecimento de domínio (autoavaliado) e experiência prévia com IA.

3. Principais Contribuições e Resultados

A. A Distinção entre Confiança Relatada e Comportamental

• Correlação Fraca: A correlação entre a confiança relatada (questionário) e o comportamento de reliance (taxa de concordância) foi baixa (r = 0,25).
• Conclusão: Confiança percebida e comportamento de confiança são construtos distintos. Medir apenas um não reflete o outro. Um usuário pode relatar alta confiança, mas não seguir a IA, ou vice-versa.
• Taxa de Troca vs. Concordância: A taxa de concordância e a taxa de troca (switch rate) foram fortemente correlacionadas (r = 0,70), mas isso depende da taxa de "match" (quando a intuição humana já coincide com a IA).

B. Impacto do Fluxo de Decisão (1 passo vs. 2 passos)

• Falha na Redução da Superconfiança: Contrariando estudos anteriores que sugeriam que o fluxo de 2 passos reduziria a superconfiança, este estudo encontrou o oposto: o setup de 2 passos aumentou significativamente a superconfiança (aceitação de IA errada).
• Tempo de Decisão: O grupo de 2 passos levou mais tempo, mas isso não resultou em melhor calibração; na verdade, os participantes que já haviam investido tempo na primeira decisão tornaram-se mais suscetíveis à sugestão da IA posteriormente.

C. Interações com Explicações e Conhecimento de Domínio

• Efeito Cruzado (Crossover Interaction) nas Explicações: O impacto das explicações na confiança relatada dependeu do fluxo de decisão:
  • No setup de 2 passos, as explicações aumentaram a confiança relatada.
  • No setup de 1 passo, as explicações diminuíram ligeiramente a confiança relatada.
  • Implicação: Resultados sobre a eficácia de explicações não podem ser generalizados entre diferentes fluxos de trabalho.
• Conhecimento de Domínio: Usuários com baixo conhecimento de domínio relataram menor confiança, mas seu comportamento de reliance não diferiu dos demais. Usuários com bom conhecimento relataram maior confiança no setup de 2 passos.

4. Significado e Implicações para o Design

1. Avaliação Dupla é Crucial: Desenvolvedores de Sistemas de Apoio à Decisão (DSS) devem avaliar tanto a confiança percebida quanto a comportamental separadamente, pois elas não são intercambiáveis.
2. Cuidado com o "Forçamento Cognitivo" (2 passos): Embora o fluxo de 2 passos seja teoricamente projetado para forçar o pensamento crítico e reduzir a dependência cega, este estudo mostra que, em certos contextos, ele pode ter o efeito inverso, aumentando a aceitação de erros da IA.
3. Contextualização de Explicações: A eficácia de explicações (XAI) é altamente dependente do fluxo de interação. Uma explicação que funciona bem em um fluxo de 2 passos pode não funcionar (ou até ser prejudicial) em um fluxo de 1 passo.
4. Design Adaptativo: Soluções "tamanho único" (como forçar sempre uma decisão prévia) são insuficientes. O futuro deve focar em fluxos adaptativos, onde o sistema decide quando solicitar uma decisão humana ou fornecer explicações com base na confiança do usuário ou na complexidade da tarefa.

Conclusão

O artigo demonstra que a confiança em sistemas de IA não é monolítica. A calibração da confiança é um processo complexo influenciado pela interação entre o design da interface (fluxo de trabalho), a transparência (explicações) e as características do usuário. Os resultados alertam contra a generalização de achados de estudos anteriores e sugerem que o fluxo de 2 passos, frequentemente defendido para reduzir a superconfiança, pode ser contraproducente se não for implementado com cuidado e validado no contexto específico de uso.