An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Por décadas, a planilha tem sido o motor silencioso do mundo moderno, o livro de contabilidade digital onde as empresas calculam lucros, controlam estoques e planejam orçamentos. É uma ferramenta tão onipresente que a maioria das pessoas a utiliza sem pensar em como ela funciona, mas pesquisadores sabem há muito tempo que ela é frágil. Estudos que remontam à década de 1990 mostraram que a grande maioria dessas planilhas contém pelo menos um erro grave, muitas vezes escondido em uma única fórmula que parece correta, mas calcula o número errado. Durante anos, a suposição era simples: esses erros acontecem porque um humano cometeu um deslize ou um erro de lógica, como digitar um número errado ou arrastar uma fórmula para a célula errada. A solução, aos olhos dos especialistas, era sempre a revisão humana — ter outra pessoa verificando o trabalho para detectar o deslize antes que ele causasse danos.

Mas o cenário de como essas planilhas são construídas mudou drasticamente nos últimos anos. Desde por volta de 2023, um novo tipo de ajudante apareceu dentro dessas ferramentas: um assistente de inteligência artificial que pode escrever fórmulas e construir relatórios complexos apenas ouvindo o pedido de um humano em linguagem natural. Essa tecnologia promete acelerar o trabalho, mas introduz uma nova incerteza. Sabemos que esses sistemas de IA cometem erros, às vezes errando a matemática mesmo quando o resultado parece plausível. A questão crítica que permanece sem resposta é se um revisor humano consegue detectar um erro de IA tão facilmente quanto detectaria um erro humano. Se uma IA gera um número que está ligeiramente errado, mas parece razoável, um funcionário cansado irá notar, ou confiará no resultado polido e deixará um erro perigoso passar despercebido?

Um novo estudo propõe uma maneira de responder a essa pergunta, tratando o revisor humano não apenas como uma rede de segurança, mas como o próprio objeto do experimento. Os pesquisadores, trabalhando a partir da Universidade Nacional de Bangladesh e da Universidade East West, desenharam uma comparação controlada para ver se a origem de um erro altera a probabilidade de ele ser detectado. Eles não pedem simplesmente que computadores resolvam problemas matemáticos para ver com que frequência falham; em vez disso, propõem um cenário onde analistas reais constroem planilhas de duas maneiras diferentes. Um grupo construiria seu trabalho manualmente, digitando cada fórmula por conta própria. O outro usaria um assistente de IA para gerar as mesmas fórmulas com base em suas instruções. Ambos os grupos receberiam tarefas idênticas, como criar um relatório de orçamento ou resumir dados de vendas, garantindo que a dificuldade do trabalho seja exatamente a mesma para todos.

Uma vez construídas as planilhas, os pesquisadores planejam realizar uma auditoria rigorosa. Eles examinarão cada arquivo para encontrar erros, classificando-os em tipos específicos. Eles procurarão por erros "barulhentos", que são erros óbvios como um link quebrado ou um total que claramente não bate, e erros "silenciosos", que são mais traiçoeiros. Um erro silencioso é aquele em que o computador produz um número que parece perfeitamente normal, mas está errado porque utilizou os dados incorretos ou interpretou mal uma regra. Os pesquisadores hipotetizam que, embora os assistentes de IA possam ser bons em evitar erros de digitação óbvios, eles frequentemente produzem esses erros silenciosos. Eles costumam acertar a estrutura de uma fórmula, mas interpretam mal as relações sutis entre as diferentes partes dos dados, resultando em uma resposta de aparência plausível, porém incorreta.

A parte mais significativa do estudo é a segunda camada de testes, que foca nos revisores humanos. Um painel separado de analistas, que não sabe quais planilhas foram construídas por humanos e quais por IA, revisará os arquivos sob condições normais de pressão de tempo. Eles não serão informados de que existem erros; eles serão simplesmente solicitados a verificar o trabalho como fariam em um emprego real. Os pesquisadores querem ver se os revisores têm maior probabilidade de deixar um erro passar se ele vier de uma IA. A hipótese que move esta parte do estudo é que os humanos sofrem de uma espécie de viés de confiança ao analisar resultados automatizados. Como o trabalho gerado por IA geralmente parece limpo e profissional, um revisor pode sentir mais confiança nele e dedicar menos tempo ao escrutínio dos detalhes, levando-o a negligenciar erros que teria facilmente detectado se soubesse que um humano os havia cometido.

O estudo ainda não possui os números finais, pois delineia o método para um experimento controlado em vez de relatar os resultados concluídos. No entanto, o design foi construído para testar uma possibilidade específica e preocupante: que os erros introduzidos pela IA sejam mais difíceis de detectar do que os erros cometidos por humanos, mesmo quando os erros são da mesma gravidade. Se o estudo confirmar isso, sugere que a forma atual como as empresas verificam seu trabalho é insuficiente. Implica que ter um humano olhando para a tela não é suficiente se esse humano estiver, subconscientemente, confiando mais na máquina do que em uma pessoa. Os pesquisadores argumentam que, se os erros de IA forem de fato mais difíceis de detectar, as organizações que adotam essas ferramentas podem estar aumentando o risco de tomar decisões ruins, mesmo que a IA seja tecnicamente mais rápida ou precisa no papel.

Esta pesquisa visa preencher uma lacuna entre dois campos que raramente se comunicaram. De um lado, há décadas de pesquisa sobre erros de planilhas, que estabeleceram um mapa claro de como os humanos cometem erros. Do outro lado, há uma enxurrada de novos dados mostrando como os modelos de IA falham nessas mesmas tarefas. O que tem faltado é uma comparação direta que meça a reação humana a ambos. Ao usar o mesmo sistema de classificação para erros cometidos por humanos e por máquinas, e ao medir a frequência com que esses erros são encontrados por terceiros, o estudo busca fornecer uma resposta clara e baseada em evidências. Ele vai além de perguntar "com que frequência a IA erra?" para perguntar a questão mais prática: "com que frequência a IA consegue passar despercebida?".

As implicações deste trabalho estendem-se muito além da própria planilha. Elas tocam em uma questão mais ampla de como os humanos interagem com máquinas inteligentes em ambientes de alto risco. Se o estudo descobrir que somos menos vigilantes ao revisar o trabalho da IA, sugere que as ferramentas que usamos para tomar decisões podem estar criando um ponto cego em nosso próprio julgamento. Os pesquisadores planejam medir não apenas se os erros são encontrados, mas também o nível de confiança que os revisores sentem quando dizem que um arquivo está correto. Esta "calibragem" é fundamental; se os revisores estiverem tão confiantes no trabalho da IA quanto estão no trabalho humano, mas forem, na verdade, menos precisos em seu julgamento, isso aponta para uma mudança fundamental na forma como precisamos verificar informações.

Em última análise, este artigo é uma proposta para um experimento necessário em um mundo que está mudando mais rápido que nossos hábitos de segurança. Ele reconhece que as velhas regras de verificação de trabalho podem não mais se aplicar quando o trabalho está sendo escrito por uma máquina. Ao estabelecer um teste justo e controlado, os autores esperam dar às empresas e analistas uma visão clara dos riscos que enfrentam. Eles não estão dizendo que a IA é inútil ou que deve ser banida; pelo contrário, sugerem que precisamos entender a natureza específica de suas falhas antes de confiar nela com nossos números mais importantes. O objetivo é garantir que, conforme entregamos mais da escrita às máquinas, não percamos a capacidade de enxergar a verdade quando ela está escondida à vista de todos.