An Error Taxonomy for AI-Copilot Assisted Spreadsheet and Analytics Work

Durante décadas, la hoja de cálculo ha sido el motor silencioso del mundo moderno, el libro contable digital donde las empresas calculan beneficios, rastrean inventarios y planifican presupuestos. Es una herramienta tan ubicua que la mayoría de la gente la utiliza sin pensar en cómo funciona, aunque los investigadores saben desde hace tiempo que es frágil. Estudios que se remontan a la década de 1990 han demostrado que la gran mayoría de estas hojas de cálculo contienen al menos un error grave, a menudo oculto en una sola fórmula que parece correcta pero calcula el número equivocado. Durante años, la suposición era simple: estos errores ocurren porque un humano cometió un desliz de la mano o un error de lógica, como escribir un número incorrecto o arrastrar una fórmula a la celda equivocada. La solución, a ojos de los expertos, siempre fue la revisión humana: hacer que otra persona comprobara el trabajo para detectar el desliz antes de que causara daños.

Pero el panorama de cómo se construyen estas hojas de cálculo ha cambiado drásticamente en los últimos años. Desde alrededor de 2023, un nuevo tipo de ayudante ha aparecido dentro de estas herramientas: un asistente de inteligencia artificial que puede escribir fórmulas y construir informes complejos simplemente escuchando la petición de un humano en lenguaje natural. Esta tecnología promete acelerar el trabajo, pero introduce una nueva incertidumbre. Sabemos que estos sistemas de IA cometen errores, a veces calculando mal las matemáticas incluso cuando el resultado parece plausible. La pregunta crítica que queda sin respuesta es si un revisor humano puede detectar un error de la IA con la misma facilidad con la que detectaría uno humano. Si una IA genera un número que es ligeramente erróneo pero que parece razonable, ¿lo notará un empleado cansado, o confiará en el resultado pulido y dejará que un error peligrooso se filtre?

Un nuevo estudio propone una forma de responder a esta pregunta tratando al revisor humano no solo como una red de seguridad, sino como el sujeto del experimento en sí mismo. Los investigadores, que trabajan desde la Universidad Nacional de Bangladesh y la Universidad East West, diseñaron una comparación controlada para ver si el origen de un error cambia la probabilidad de que sea detectado. No se limitan a pedir a las computadoras que resuelvan problemas matemáticos y observar con qué frecuencia fallan; en su lugar, proponen un escenario donde analistas reales construyen hojas de cálculo de dos maneras diferentes. Un grupo construiría su trabajo manualmente, escribiendo cada fórmula por sí mismo. El otro grupo usaría un asistente de IA para generar las mismas fórmulas basadas en sus instrucciones. Ambos grupos recibirían tareas idénticas, como crear un informe de presupuesto o resumir datos de ventas, asegurando que la dificultad del trabajo sea exactamente la misma para todos.

Una vez construidas las hojas de cálculo, los investigadores planean realizar una auditoría rigurosa. Examinarán cada archivo para encontrar errores, clasificándolos en tipos específicos. Buscarán errores "ruidosos", que son errores obvios como un enlace roto o un total que claramente no cuadra, y errores "silenciosos", que son más complicados. Un error silencioso es aquel en el que la computadora produce un número que parece perfectamente normal pero que es incorrecto porque utilizó los datos equivocados o malinterpretó una regla. Los investigadores plantean la hipótesis de que, si bien los asistentes de IA pueden ser buenos evitando errores tipográficos obvios, producen con frecuencia estos errores silenciosos. A menudo aciertan en la estructura de una fórmula pero malinterpretan las relaciones sutiles entre las diferentes partes de los datos, lo que resulta en una respuesta plausible pero incorrecta.

La parte más significativa del estudio es la segunda capa de pruebas, que se centra en los revisores humanos. Un panel separado de analistas, que no sabe qué hojas de cálculo han sido construidas por humanos y cuáles por IA, revisará los archivos bajo condiciones normales de presión de tiempo. No se les dirá que hay errores presentes; simplemente se les pedirá que comprueben el trabajo tal como lo harían en un trabajo real. Los investigadores quieren ver si los revisores tienen más probabilidades de pasar por alto un error si este proviene de una IA. La hipótesis que impulsa esta parte del estudio es que los humanos sufren una especie de sesgo de confianza al observar resultados automatizados. Debido a que el trabajo generado por la IA suele verse limpio y profesional, un revisor podría sentirse más seguro de él y dedicar menos tiempo a escudriñar los detalles, lo que le llevaría a pasar por alto errores que habría detectado fácilmente si supiera que un humano los había cometido.

El estudio aún no tiene las cifras finales, ya que describe el método para un experimento controlado en lugar de reportar los resultados completados. Sin embargo, el diseño está construido para probar una posibilidad específica y preocupante: que los errores introducidos por la IA sean más difíciles de detectar que los errores cometidos por humanos, incluso cuando los errores son de la misma severidad. Si el estudio confirma esto, sugiere que la forma actual en que las empresas comprueban su trabajo es insuficiente. Implica que tener a un humano mirando la pantalla no es suficiente si ese humano confía inconscientemente más en la máquina que en una persona. Los investigadores argumentan que, si los errores de la IA son de hecho más difíciles de detectar, las organizaciones que adopten estas herramientas podrían estar aumentando su riesgo de tomar malas decisiones, incluso si la IA es técnicamente más rápida o precisa sobre el papel.

Esta investigación pretende cerrar una brecha entre dos campos que rara vez se han comunicado. Por un lado, hay décadas de investigación sobre errores en hojas de cálculo, que ha establecido un mapa claro de cómo cometen errores los humanos. Por otro lado, hay una avalancha de nuevos datos que muestran cómo fallan los modelos de IA en estas mismas tareas. Lo que ha faltado es una comparación directa que mida la reacción humana ante ambos. Al utilizar el mismo sistema de clasificación para los errores cometidos por humanos y por máquinas, y al medir con qué frecuencia esos errores son encontrados por un tercero, el estudio busca proporcionar una respuesta clara y basada en evidencia. Va más allá de preguntar "¿con qué frecuencia se equivoca la IA?" para preguntar la cuestión más práctica: "¿con qué frecuencia se sale con la suya?".

Las implicaciones de este trabajo se extienden mucho más allá de la propia hoja de cálculo. Toca un problema más amplio de cómo los humanos interactúan con máquinas inteligentes en entornos de alto riesgo. Si el estudio encuentra que somos menos vigilantes al revisar el trabajo de la IA, sugiere que las herramientas que usamos para tomar decisiones pueden estar creando un punto ciego en nuestro propio juicio. Los investigadores planean medir no solo si se encuentran errores, sino también qué tan seguros se sienten los revisores cuando dicen que un archivo es correcto. Esta "calibración" es clave; si los revisores tienen tanta confianza en el trabajo generado por la IA como en el trabajo humano, pero son en realidad menos precisos en su juicio, esto apunta a un cambio fundamental en cómo debemos verificar la información.

En última instancia, este documento es una propuesta para un experimento necesario en un mundo que está cambiando más rápido que nuestros hábitos de seguridad. Reconoce que las viejas reglas para comprobar el trabajo pueden ya no aplicarse cuando el trabajo está siendo escrito por una máquina. Al establecer una prueba justa y controlada, los autores esperan dar a las empresas y a los analistas una imagen clara de los riesgos que enfrentan. No están diciendo que la IA sea inútima o que deba prohibirse; más bien, sugieren que necesitamos comprender la naturaleza específica de sus fallos antes de confiarle nuestros números más importantes. El objetivo es asegurar que, a medida que entregamos más de la escritura a las máquinas, no perdamos la capacidad de ver la verdad cuando esta se esconde a plena vista.