AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments

No mundo moderno, uma gravação de vídeo é frequentemente tratada como um registro imutável da verdade. Se uma câmera captura uma pessoa falando, a suposição é que a pessoa estava lá, dizendo aquelas palavras, naquele momento. Essa crença forma a espinha dorsal das investigações criminais e dos julgamentos legais. No entanto, uma nova tecnologia chamada geração de deepfake interrompeu essa certeza. Esses sistemas podem criar vídeos onde o rosto e a voz de uma pessoa são substituídos ou alterados de forma tão convincente que o evento nunca aconteceu de fato. O problema para os investigadores não é apenas detectar essas falsificações; é descobrir como usar ferramentas computacionais que afirmam detectá-las. Quando um juiz ou policial é confrontado com um vídeo acompanhado pela opinião de um computador que diz "isso é falso", como esse conselho muda a sua mente? O computador ajuda a ver a verdade ou os engana para cometerem erros que não cometeriam sozinhos?

Esta questão é o foco de uma revisão sistemática recente realizada pelo pesquisador Hardianto Djanggih. O estudo não testou um novo programa de computador nem realizou um único experimento. Em vez disso, reuniu e analisou sete estudos existentes que olharam especificamente para como os humanos reagem quando recebem ajuda de inteligência artificial ao julgar se um vídeo ou imagem é real. O pesquisador queria saber se essa assistência melhora a precisão do julgamento humano, como a forma como o conselho é apresentado importa e se esses achados podem ser confiados em um ambiente de tribunal. A revisão descobriu que a resposta não é um simples "sim" ou "não". O valor da IA depende inteiramente de se o conselho é correto e de como ele é mostrado ao humano.

A revisão examinou experimentos onde pessoas assistiram a vídeos ou olharam para rostos e decidiram se eram autênticos ou manipulados. Em alguns casos, os participantes receberam uma previsão de um modelo de computador antes de tomarem sua decisão final. Em outros, viram pistas visuais, como áreas destacadas onde o computador pensava que uma falsificação estava escondida, ou foram informados sobre o quão confiável o computador costuma ser. Os resultados mostraram que, quando o computador dava o conselho correto, ele frequentemente ajudava as pessoas a obterem a resposta certa com mais frequência. Por exemplo, em um estudo envolvendo clipes de vídeo, mostrar a previsão do computador elevou a taxa de identificação correta de 66 por cento para 73 por cento. No entanto, o estudo também revelou um efeito colateral perigoso: quando o computador dava o conselho errado, as pessoas tendiam a segui-lo, mesmo quando isso as levava à conclusão errada. A assistência não apenas as tornou mais inteligentes; também as tornou mais propensas a cometer erros específicos se a ferramenta em si fosse falha.

A forma como a informação era apresentada importava tanto quanto a própria informação. Um estudo comparou rótulos de texto simples com exibições visuais que amplificavam os artefatos minúsculos e não naturais frequentemente deixados pela criação de deepfakes. As exibições visuais tornaram as pessoas mais confiantes em seus julgamentos e mais propensas a aceitar a avaliação do computador. No entanto, essa confiança nem sempre significava que estavam certas. Em outro experimento, pesquisadores disseram aos participantes que um computador era muito preciso, mas o desempenho real do computador não correspondia a essa afirmação. Os participantes confiaram mais no computador quando foram informados de que ele era melhor, embora a tecnologia subjacente fosse a mesma. Isso sugere que a forma como uma taxa de erro é comunicada pode mudar o quanto uma pessoa depende da ferramenta, independentemente de a ferramenta estar realmente performando como prometido.

A revisão também observou se a origem do conselho importava. Em um experimento, os participantes receberam exatamente a mesma orientação, mas ela era às vezes rotulada como vinda de uma inteligência artificial e outras vezes de um humano. A precisão das decisões finais não mudou com base em quem os participantes pensavam que estava dando o conselho. Essa descoberta desafia a ideia de que as pessoas confiam automaticamente mais em máquinas do que em humanos, ou que são naturalmente suspeitas de computadores. Em vez disso, a qualidade do conselho e a correção dos dados subjacentes eram os verdadeiros motores do sucesso ou do fracasso. Os pesquisadores observaram que, em muitos desses estudos, o conselho dado aos participantes era perfeito ou simulado, o que significa que os experimentos não testaram totalmente o que acontece quando um detector do mundo real comete um erro.

Uma limitação crítica desta pesquisa é que nenhum dos estudos incluídos testou como essas ferramentas funcionam em um julgamento criminal real. Os experimentos envolveram pessoas comuns fazendo julgamentos rápidos em um laboratório ou online, não juízes ou advogados decidindo o destino de um réu. A revisão não encontrou evidências de que o uso dessas ferramentas leve a vereditos mais precisos em casos legais reais. Os estudos também não mediram se as pessoas poderiam identificar corretamente quem criou um vídeo falso ou se a pessoa no vídeo realmente cometeu um crime. A pesquisa abordou apenas a questão mais estreita de se um vídeo parece real ou falso. Essa lacuna é significativa porque um vídeo pode ser tecnicamente autêntico, mas ainda assim ser usado para contar uma história enganosa, ou um vídeo falso pode ser usado para um propósito inofensivo.

O autor conclui que a relação entre humanos e IA neste campo é complexa. Assistência, confiança e julgamento preciso são três coisas diferentes. Uma pessoa pode confiar em uma ferramenta e concordar com ela, mas ainda assim estar errada. A revisão sugere que, para que essas ferramentas sejam úteis como evidência criminal, a comunicação sobre elas deve ser muito precisa. Especialistas precisam explicar exatamente sob quais condições a ferramenta foi testada e o que ela não consegue fazer. Eles devem evitar fazer afirmações amplas como "esta gravação é falsa" e, em vez disso, manter-se a declarações específicas e testáveis como "este arquivo contém características associadas a um tipo específico de manipulação". O estudo também destaca a necessidade de transparência. Se uma ferramenta destaca uma área suspeita em um vídeo, o vídeo original deve permanecer disponível para que outros possam verificar se a própria ferramenta de destaque está funcionando corretamente.

Em última análise, esta revisão serve como um guia de cautela, em vez de uma celebração da tecnologia. Ela mostra que, embora a assistência da IA possa melhorar a detecção humana de deepfakes, ela também introduz novos riscos se o conselho for incorreto ou se o humano se tornar demasiado dependente da máquina. As descobertas sugerem que, em um ambiente jurídico, o foco não deve ser em quanto uma ferramenta aumenta a confiança, mas sim se ela ajuda as pessoas a distinguir entre um conselho útil e erros enganosos. Até que essas ferramentas sejam testadas em cenários jurídicos reais com consequências reais, sua capacidade de garantir a justiça permanece uma questão em aberto. O caminho a seguir exige testes cuidadosos, comunicação clara de limites e um humano que permaneça capaz de verificar o trabalho, em vez de apenas aceitar a palavra do computador.