💻 computer science

Verification Without Distrust: Reframing User-Side Oversight as Routine Epistemic Governance in Everyday Human-Chatbot Interaction

Este estudo desafia a suposição de que a verificação de outputs de IA pelos usuários é impulsionada pela desconfiança, revelando, por meio de uma análise de métodos mistos com 153 usuários, que a supervisão funciona como uma forma rotineira de governança epistêmica distinta da confiança, e propõe direções de design para uma supervisão estruturada que aumente a satisfação e a agência do usuário.

Autores originais: Aung Pyae

Publicado 2026-07-29

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Aung Pyae

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Armadilha da Confiança: Por Que Verificamos Nossos Amigos de IA Mesmo Quando Gostamos Deles

Imagine que você está aprendendo a andar de bicicleta com uma rodinha muito útil e superinteligente que nunca cai. No mundo da ciência que estuda como os humanos conversam com computadores (chamada de Interação Humano-Computador), existe uma crença de longa data sobre como essa relação funciona. É assim: se você confia completamente na sua rodinha, não precisará olhar para ela ou verificar se ela está balançando. Você apenas pedala. Essa ideia é chamada de "calibração de confiança". Ela sugere que, quanto mais você confia em uma máquina, menos deve se preocupar com ela e menos deve duvidar de seu trabalho.

Mas aqui está a reviravolta: e se essa regra estiver errada? E se, mesmo amando seu assistente inteligente, você ainda sentir necessidade de dar uma espiada sob o capô? Este artigo mergulha exatamente nessa questão. Ele analisa como as pessoas realmente usam chatbots — as ferramentas de IA que escrevem nossos e-mails, resolvem nossos problemas matemáticos e nos ajudam a estudar. Os pesquisadores queriam saber: as pessoas param de verificar as respostas da IA quando confiam nela? Ou elas continuam verificando, não importa o quê? A resposta altera a forma como devemos construir essas ferramentas para o futuro.

O Grande Mistério da Dupla Verificação

Por muito tempo, os especialistas pensaram na confiança e na verificação como dois lados de uma gangorra. Se você empurrar o lado da "Confiança", o lado da "Verificação" deve subir, o que significa que você para de verificar. A lógica era simples: se você acredita que a IA é uma boa parceira, não deve precisar agir como um detetive. Mas os autores deste artigo, Aung Pyae e sua equipe, decidiram testar essa teoria com 153 usuários frequentes de chatbots. Eles fizeram perguntas simples a esses usuários: "O quanto você confia no chatbot?" e "Com que frequência você verifica as respostas dele antes de usá-las?".

O resultado foi uma surpresa total. Os dados mostraram nenhuma conexão detectável entre confiança e verificação. É como se a gangorra estivesse colada na horizontal. Quer o usuário dissesse que confiava um pouco ou muito no chatbot, eles verificavam as respostas exatamente na mesma proporção. Os pesquisadores encontraram uma correlação de 0,01, que é basicamente zero. Isso significa que mesmo as pessoas que diziam "Eu geralmente confio nas respostas do chatbot" eram tão propensas a verificar fatos, números e conteúdos relacionados ao trabalho quanto as pessoas céticas.

O artigo descarta explicitamente a ideia de que "melhor confiança significa menos verificação" no uso cotidiano de chatbots. Sugere que, para usuários frequentes, verificar não é um sinal de desconfiança; é apenas um hábito. Pense como um chef que confia em sua faca favorita, mas ainda assim prova a sopa antes de servir. O chef não está duvidando da faca; ele está apenas fazendo o seu trabalho. Os autores chamam isso de "governança epistêmica rotineira", que é uma forma elegante de dizer: "É apenas parte da rotina diária verificar o que você sabe".

Duas Maneiras de Brincar com a IA

O estudo não parou apenas na verificação. Ele analisou quatro maneiras diferentes pelas quais as pessoas interagem com os resultados dos chatbots:

Verificação: Ler a resposta e dizer: "Sim, parece correto", sem alterar nada.
Refinamento: Pedir ao chatbot para "tornar isso mais curto" ou "explicar de forma diferente".
Correção: Dizer ao chatbot: "Você errou essa conta, corrija".
Aprovação: Garantir que o chatbot receba o "sinal verde" antes de realizar algo automático.

Os pesquisadores descobriram que essas ações se dividem em dois campos muito distintos. A Verificação (apenas checar) é como um observador silencioso. Ela não parece tornar as pessoas mais felizes ou satisfeitas com o chatbot, e não tem ligação com o quanto elas confiam no bot.

No entanto, os outros três — Refinamento, Correção e Aprovação — são o time "intervencionista". Estas são ações ativas onde o usuário altera o trabalho do chatbot. O estudo descobriu que essas ações estão fortemente ligadas à satisfação. Quando os usuários sentiam que podiam ajustar, corrigir ou aprovar o trabalho do chatbot, eles aproveitavam muito mais a experiência. De fato, os dados mostraram que as pessoas que realizavam essas ações ativas eram mais felizes, mesmo que não necessariamente confiassem mais no bot. É a diferença entre assistir a um filme (verificar) e dirigir o filme (intervir). Os diretores (intervencionistas) se divertiram muito mais.

O Hiato "Feliz, mas Impotente"

Aqui está a parte mais interessante da história. Os usuários no estudo estavam muito felizes com seus chatbots. Suas pontuações de satisfação eram altas, com média de 4,22 de 5. Mas, quando questionados sobre o quanto sentiam que tinham controle sobre o chatbot, a pontuação caiu para 3,33.

Os pesquisadores chamam isso de "Hiato Satisfação-Controle". É um grande hiato, com um tamanho estatístico de 0,72. Imagine que você está comendo uma refeição deliciosa preparada por um chef robô. Você ama o sabor (alta satisfação), mas sente que não tem voz na receita, nenhuma maneira de dizer ao chef para colocar menos sal na próxima vez e nenhuma ideia de como a comida foi feita (baixo controle). O estudo descobriu que, mesmo quando o chatbot fazia um ótimo trabalho, os usuários não sentiam que eram eles que estavam pilotando o navio. Eles se sentiam passageiros, não pilotos.

O Que os Usuários Realmente Querem

Quando os pesquisadores perguntaram aos usuários o que os faria se sentir melhor ao usar esses chatbots, as respostas foram claras. Os usuários não queriam que o chatbot fosse apenas "mais inteligente" para que eles não precisassem verificar. Eles queriam ferramentas para ajudá-los a verificar melhor.

Especificamente, eles pediram por:

Atribuições de Fonte: "Mostre-me de onde você tirou esse fato."
Transparência de Processo: "Mostre-me seus passos de raciocínio, não apenas a resposta."
Persistência de Correção: "Se eu disser para você corrigir um erro, lembre-se disso para a próxima vez."
Memória Governável: "Deixe-me ver e alterar o que você aprendeu sobre minhas preferências."

O artigo sugere que, em vez de tentar construir chatbots tão perfeitos que deixemos de verificá-los, devemos construir chatbots que tornem a verificação fácil e útil. O objetivo não é remover a supervisão do usuário, mas sim apoiá-la.

A Conclusão

Este artigo inverte a lógica de como pensamos sobre a IA. Sugere que, para pessoas que usam chatbots todos os dias, verificar o trabalho não é um sinal de que não confiam na IA. É uma parte normal do processo, como revisar uma redação. A verdadeira chave para tornar as pessoas felizes não é apenas construir confiança; é dar a elas o poder de corrigir, refinar e aprovar o trabalho da IA.

Os autores concluem que precisamos parar de perguntar: "Como construímos confiança para que os usuários parem de verificar?" e começar a perguntar: "Como apoiamos a verificação que os usuários já estão fazendo?". Ao tratar a necessidade do usuário de verificar e corrigir como um recurso, e não como um erro, podemos construir chatbots que não sejam apenas inteligentes, mas verdadeiramente parceiros úteis.

Resumo Técnico: Verificação Sem Desconfiança

Declaração do Problema

A pesquisa sobre a interação humano-IA tem operado tradicionalmente sob um paradigma de "calibração de confiança", postulando que a confiança e a verificação existem em um único contínuo inverso: à medida que a confiança em um sistema aumenta, a necessidade de os usuários verificarem seus resultados deve diminuir. Essa premissa, herdada da literatura de confiança na automação, prescreve que os esforços de design devem focar em construir uma "confiança apropriada" para tornar a supervisão desnecessária. No entanto, este artigo identifica uma lacuna empírica crítica: essa relação inversa não foi testada diretamente no contexto de interações humano-chatbot cotidianas, abertas e iterativas. Além disso, a prevalência, a estrutura e os resultados das práticas de "humano no loop" (HITL) do lado do usuário — especificamente o trabalho espontâneo e autodirigido que os usuários realizam para governar os outputs do chatbot — permanecem subespecificados. O estudo desafia o objetivo implícito de design de eliminar a checagem do usuário, perguntando, em vez disso, se a verificação persiste como uma prática rotineira desvinculada dos níveis de confiança.

Metodologia

O estudo empregou um design de métodos mistos transversais envolvendo um levantamento com 153 usuários frequentes de chatbots. A amostra era predominantemente jovem (56,2% com idade entre 18–24 anos), composta por estudantes (69,9%) e orientada para áreas de STEM (75,9% em Computação/TI ou Engenharia), com alta frequência de uso (67,3% diariamente).

Instrumentação:
O levantamento utilizou uma escala Likert de 5 pontos em sete seções, incluindo demografia, modelos mentais, confiança, comportamentos de supervisão, percepção de controle, satisfação e preferências de design.

Confiança: Operacionalizada como uma orientação disposicional generalizada ("Eu geralmente confio nas respostas do chatbot").
Comportamentos de Supervisão: Foram mensuradas quatro práticas distintas do lado do usuário:
1. Verificação: Checar informações antes de agir.
2. Refinamento: Pedir ao chatbot para reformular, encurtar ou melhorar as respostas.
3. Correção: Dizer ao chatbot quando ele está errado.
4. Supervisão (Aprovação): Confirmar ações antes da execução automatizada.
Resultos: Medidos via facilitação de tarefas, prazer (composto de satisfação) e controle percebido (agência sentida).

Análise:
A análise quantitativa incluiu estatística descritiva, correlações de Pearson e Spearman com intervalos de confiança de 95% transformados por Fisher, e regressão moderada. Os dados qualitativos de prompts abertos foram analisados via análise temática (codificador único). Análises de sensibilidade foram conduzidas para excluir participantes inelegíveis (menores de 18 anos ou não usuários) e respondentes de baixo engajamento (respostas Likert idênticas), confirmando a robustez dos principais achados.

Principais Resultados

1. Nenhuma Associação Detectável entre Confiança e Verificação (RQ1)

Contrário à previsão canônica, o estudo encontrou nenhuma associação detectável entre confiança e verificação ( $r = .01$ , 95% CI $[-.15, +.17]$ , $p = .90$ ). O intervalo de confiança descarta relações lineares inversas moderadas. Este resultado nulo manteve-se em todas as análises de sensibilidade e subgrupos de proficiência. A verificação não é um comportamento dependente da confiança que diminui conforme a confiança cresce; em vez disso, parece ser uma prática rotineira mantida independentemente dos níveis de confiança.

2. Distinção entre Supervisão Avaliativa e Intervencionista (RQ2)

O estudo identificou uma heterogeneidade estrutural nas práticas de HITL do lado do usuário:

Supervisão Avaliativa (Verificação): Não mostra associação detectável com a confiança e está apenas fracamente ligada à satisfação ( $r = .21$ ).
Supervisão Intervencionista (Refinamento, Correção, Aprovação): Estas práticas mostram correlações positivas fracas com a confiança e estão fortemente ligadas à satisfação (Refinamento $r = .48$ , Supervisão $r = .39$ , Correção $r = .38$ ).
Os usuários endossam amplamente essas práticas intervencionistas (67–75% de endosso nos dois níveis superiores), sugerindo que a satisfação na interação humano-chatbot é impulsionada pela capacidade de moldar ativamente os outputs em vez de apenas recebê-los passivamente.

3. O Gap Satisfação–Controle

Existe uma dissociação significativa entre a satisfação com a tarefa e o controle percebido. Os usuários relataram alta satisfação ( $M = 4.22$ ), mas um controle percebido substancialmente menor ( $M = 3.33$ ), resultando em um gap de médio a grande ( $d = 0.72$ ). Resultados eficazes de tarefas não implicam um senso de agência sentida. A análise de regressão indicou que a confiança e os comportamentos de supervisão explicam apenas uma pequena parte da variância no controle percebido, sugerindo que as interfaces atuais falham em tornar as intervenções do usuário "consequenciais" o suficiente para gerar um senso de direção.

4. Insights Qualitativos

Os achados qualitativos revelaram que os usuários veem os chatbots primariamente como ferramentas instrumentais em vez de colaboradores. A confiança é condicional e específica para modos de falha (ex: disparada por erros matemáticos ou referências fabricadas) em vez de global. A verificação é descrita como "higiene epistêmica rotineira" (análoga à revisão de texto) em vez de uma resposta à desconfiança. Os usuários expressam uma demanda por infraestrutura epistêmica, especificamente atribuição de fontes, transparência de raciocínio e a capacidade de realizar correções que persistam através das sessões.

Principais Contribuições

O artigo apresenta cinco contribuições específicas:

Evidência Empírica: Demonstra que, entre usuários frequentes, a verificação não mostra associação detectável com a confiança, complicando o paradigma de calibração de confiança.
Distinção Teórica: Propõe uma divisão entre supervisão avaliativa (desvinculada da confiança, fracamente ligada à satisfação) e supervisão intervencionista (fracamente correlacionada com a confiança, fortemente ligada à satisfação).
Gap Satisfação–Controle: Quantifica um gap ( $d = 0.72$ ) mostrando que resultados eficazes não produzem agência sentida, desafiando a suposição de que satisfação implica controle.
Síntese Teórica: Reenquadra o HITL do lado do usuário como um complemento de "processo rápido" ao HITL do lado do sistema, organizado em torno da governança epistêmica rotineira em vez da calibração de confiança.
Direções de Design: Deriva quatro direções de design baseadas nas necessidades dos usuários:
- Pistas de proveniência: Atribuição de fontes incorporada.
- Transparência de processo: Rastros de raciocínio e indicadores de incerteza.
- Persistência de correção: Garantir que as correções se propaguem entre turnos/sessões.
- Memória de preferência governável: Personalização inspecionável, configurável e reversível.

Significância e Alegações

O artigo argumenta que a suposição de que "melhor calibração de confiança reduz a checagem" carece de suporte empírico em contextos conversacionais. Em vez disso, postula que a verificação é uma forma de governança epistêmica rotineira compatível com a confiança. Os autores reenquadram a questão de design de "Como construímos confiança para que os usuários parem de checar?" para "Como apoiamos a checagem que os usuários já realizam?"

O estudo conclui que a supervisão do lado do usuário deve ser tratada como um modo de interação de primeira classe. Em vez de tentar eliminar a necessidade de intervenção do usuário através de transparência ou construção de confiança isoladamente, o design deve focar em estruturar (scaffolding) as práticas existentes de verificação, refinamento e correção. Esta abordagem reconhece que resultados eficazes de tarefas são distintos da agência sentida, e que o controle humano significativo requer tornar as intervenções do usuário legíveis e consequenciais. Os achados sugerem que as interfaces atuais de chatbot, embora satisfatórias, frequentemente falham em fornecer a "consequencialidade" necessária para que os usuários sintam que estão direcionando a interação.