AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized
Cinco experimentos demonstram que o mero fato de ter acesso ao conselho de uma IA, mesmo quando este é incorreto e a precisão é incentivada, reduz drasticamente a disposição das pessoas em admitir incerteza, levando-as a responder mais questões com confiança inflada, porém com precisão significativamente menor.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
A Arte de Saber Quando Parar
Imagine que você está jogando um jogo de perguntas e respostas com um amigo. Às vezes, você sabe a resposta imediatamente. Outras vezes, você não tem certeza, então pode dizer "eu não sei" ou dar um palpite qualquer. No mundo da ciência, essa habilidade de pausar e admitir a incerteza é chamada de "suspender o julgamento". É um superpoder que nos impede de acreditar em coisas que não são verdadeiras. Por muito tempo, os humanos foram os únicos com esse superpoder; se não sabíamos algo, permanecíamos calados. Mas agora, temos um novo companheiro de equipe: a Inteligência Artificial (IA). Esses assistentes de IA são como bibliotecários incrivelmente rápidos e confiantes que podem responder a quase qualquer pergunta instantaneamente. A grande questão que os cientistas estão fazendo é: se tivermos um amigo super-rápido, superconfiante e que sempre tem uma resposta pronta, pararemos de dizer "eu não sei"? Será que confiaremos tanto na IA que esqueceremos como pausar e pensar por conta própria, mesmo quando a IA estiver errada?
O Experimento: Quando a IA Mente
Uma equipe de pesquisadores decidiu testar isso configurando um jogo capcioso. Eles fizeram às pessoas 6 perguntas difíceis sobre filmes — coisas como a cor de uma tartaruga em um desenho animado antigo ou o carro específico que um personagem dirigiu. Essas perguntas foram escolhidas cuidadosamente porque são o tipo de coisa que faz a IA "alucinar", ou seja, inventar respostas que parecem confiantes, mas são completamente erradas. Os pesquisadores deram a algumas pessoas a opção de pedir ajuda a uma IA, enquanto outras tiveram que responder por conta própria.
Aqui está a reviravolta: a IA estava quase sempre errada. Era como ter um amigo que é muito barulhento e muito seguro de si, mas que, na verdade, está chutando as respostas erradas. Os pesquisadores queriam ver se as pessoas ainda diriam "eu não sei" quando tivessem a opção de perguntar a esse amigo pouco confiável, ou se a mera presença da IA as faria parar de pausar e simplesmente começar a responder.
O Que Eles Descobriram: A "Rendição Cognitiva"
Os resultados foram surpreendentes e um pouco assustadores. Quando as pessoas tinham acesso à IA, elas quase completamente pararam de dizer "eu não sei". Era como se a voz fluente e confiante da IA tivesse baixado a régua para o que era necessário para se sentir pronto para responder. Mesmo que a IA estivesse errada na maioria das vezes, as pessoas que a utilizaram responderam muito mais perguntas do que aquelas que não a utilizaram. Mas aqui está o detalhe: elas acertaram as respostas apenas cerca de um terço das vezes em comparação com as pessoas que não usaram a IA.
É como um aluno que deixa de levantar a mão para dizer "não tenho certeza" porque tem uma colinha que fornece as respostas. Ele preenche toda a prova, mas erra a maior parte dela porque confiou demais na colinha. O estudo descobriu que ter a IA disponível fez com que as pessoas se sentissem muito mais confiantes em suas respostas (sua confiança quase dobrou!), embora sua precisão real tenha caído significamente. Elas haviam, essencialmente, rendido seu próprio julgamento à máquina.
O Dinheiro Muda o Jogo?
Os pesquisadores então se perguntaram: e se errar uma resposta custasse dinheiro? Eles organizaram uma nova rodada do jogo onde as pessoas poderiam ganhar uma pequena quantia de dinheiro por respostas corretas e perder uma pequena quantia por respostas erradas. Eles esperavam que isso as fizesse pensar mais e talvez voltassem a dizer "eu não sei" novamente, mesmo com a IA por perto.
O dinheiro ajudou um pouco. As pessoas pediram ajuda à IA com menos frequência e acertaram um pouco mais de respostas. No entanto, o dinheiro não resolveu o problema principal. Mesmo quando havia uma penalidade por errar, as pessoas que usavam a IA ainda diziam "eu não sei" com muito menos frequência do que as pessoas que não tinham a IA de forma alguma. A atração da IA era forte demais. Descobriu-se que a IA não mudou apenas o que as pessoas respondiam; ela mudou o fato de elas se sentirem ou não autorizadas a responder.
A Conclusão
Esta pesquisa sugere que, à medida que a IA se torna mais comum e começa a nos fornecer respostas sem sequer precisarmos pedir, podemos perder uma habilidade crucial: a capacidade de reconhecer quando não sabemos algo. A IA não apenas preenche as lacunas; ela parece nos convencer de que não precisamos pausar e pensar. O estudo mostra que, embora possamos ser motivados a revisar nosso trabalho se houver um custo para errar, a simples presença de uma resposta confiante e fluente de uma máquina nos torna muito menos propensos a admitir nossa própria incerteza. Em um mundo cheio de IA, saber quando dizer "eu não sei" pode ser a habilidade mais importante de todas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.