Using profiles of cognitive capability to assess AI suitability for workplace tasks

En el lugar de trabajo moderno, una pregunta silenciosa pero urgente está remodelando la forma en que las organizaciones piensan en su futuro: ¿qué trabajos pueden entregarse de forma segura a la inteligencia artificial y cuáles deben permanecer en manos humanas? Durante años, la respuesta ha sido elusiva. Las empresas suelen confiar en puntuaciones de pruebas agregadas y generales para juzgar la inteligencia de una máquina, de forma muy parecida a como un director de escuela podría juzgar todo un año de un estudiante basándose en la nota de un único examen final. Estas puntuaciones ofrecen una instantánea del rendimiento general, pero rara vez explican por qué un sistema tiene éxito o fracasa, ni predicen cómo manejará la complejidad desordenada e impredecible del trabajo del mundo real. Cuando una máquina falla en una prueba controlada, suele ser un misterio; cuando falla en una oficina o fábrica real, las consecuencias pueden ser costosas y peligrosas. El desafío central es que la inteligencia artificial no piensa como un humano. Sus fortalezas y debilidades son irregulares y desiguales; puede poseer una vasta biblioteca de hechos pero tener dificultades con la lógica simple de planificar una secuencia de eventos. Para desplegar estos sistemas de forma segura, los líderes necesitan una forma de mapear las demandas cognitivas específicas de un trabajo frente a las capacidades cognitivas específicas de una máquina, yendo más allá de las conjeturas hacia una evaluación clara y basada en evidencia.

Un nuevo informe técnico de investigadores de la Universidad de Cambridge y otras instituciones ofrece una solución a este problema. En lugar de preguntar si una máquina puede realizar una tarea específica, el equipo desarrolló un proceso para perfilar las habilidades mentales subyacentes requeridas para esa tarea y compararlas directamente con las capacidades de la máquina. Comenzaron desglosando el complejo mundo de las pruebas de inteligencia artificial en dieciocho habilidades cognitivas centrales, tales como la memoria, el razonamiento, la planificación y la comprensión social. Utilizando una enorme colección de preguntas de pruebas existentes, anotaron cada una para determinar exactamente qué habilidad mental requería y qué tan difícil era. Esto creó un "mapa de demanda" detallado de las pruebas. Luego utilizaron este mapa para inferir el verdadero perfil cognitivo de seis sistemas de IA diferentes, no solo mirando sus puntuaciones finales, sino analizando cómo se desempeñaron a través de los diferentes tipos de desafíos mentales. El resultado fue un perfil para cada máquina que mostraba exactamente dónde sus habilidades eran fuertes y dónde eran frágiles, revelando que, si bien los sistemas variaban en potencia general, compartían una forma notablemente similar de fortalezas y debilidades.

Para que estos perfiles fueran útiles para decisiones del mundo real, los investigadores necesitaban saber qué es lo que los trabajadores humanos realmente necesitan para hacer sus trabajos. Encuestaron a 410 empleados de seis campos ocupacionales diferentes, que iban desde la logística de almacenes y la fabricación hasta el servicio al cliente y el análisis de datos. En lugar de pedir a estos trabajadores que predijeran qué tan bien lo haría una máquina, los investigadores les pidieron que identificaran las habilidades mentales más críticas requeridas para sus tareas diarias. Los empleados clasificaron la importancia de habilidades como la resolución de problemas, la planificación y la comunicación para sus roles específicos. Este proceso reveló un "núcleo cognitivo" común a casi todos los trabajos: una fuerte dependencia de la memoria, el lenguaje y la capacidad de planificar con antelación. Si bien diferentes trabajos enfatizaban diferentes habilidades secundarias —como el razonamiento espacial para los trabajadores de almacén o la comprensión social para el personal de ventas—, la maquinaria mental fundamental requerida para el trabajo era sorprendentemente consistente en todos los ámbitos.

Cuando los investigadores superpusieron los perfiles de la IA sobre los requisitos del trabajo, surgió una imagen clara de la idoneidad. El estudio encontró que los sistemas de IA más avanzados eran más adecuados para tareas que dependían fuertemente del lenguaje, el conocimiento factual y la interacción social, áreas donde las máquinas actuales sobresalen. Sin embargo, tuvieron dificultades constantes con tareas que requerían una planificación compleja, razonar sobre objetos físicos o comprender la relación causa-efecto en entornos dinámicos. Crucialmente, los investigadores descubrieron que las diferencias entre los diversos modelos de IA eran mucho menores que las diferencias entre los diferentes tipos de habilidades cognitivas. En otras palabras, un sistema de IA no era radicalmente diferente de otro en su "personalidad" general; más bien, todos ellos eran fuertes en algunas áreas y débiles en otras. Los sistemas más capaces mostraron mejoras modestas en planificación y control en comparación con sus pares, lo que sugiere que, si bien las máquinas están mejorando en la organización de la información, todavía están lejos de dominar el tipo de comportamiento flexible y orientado a objetivos que los humanos dan por sentado.

El marco también proporcionó una forma de calcular una "puntuación de idoneidad" para cualquier trabajo específico, permitiendo a las organizaciones ver qué tareas están listas para la automatización y cuáles no. Al combinar el perfil de capacidad de la máquina con la importancia de la tarea para el negocio, el sistema podía resaltar oportunidades de alta prioridad donde la IA sería tanto efectiva como valiosa. Por ejemplo, tareas como el análisis de datos y la investigación administrativa surgieron como candidatos sólidos para la automatización, mientras que los roles que requieren un profundo compás interpersonal o un razonamiento físico complejo permanecieron firmemente en el dominio humano. Los investigadores probaron este enfoque en una sola empresa, mostrando cómo el mismo método podía adaptarse a las necesidades únicas de una organización específica, pasando de las tendencias generales de la industria a los deberes específicos de los empleados individuales.

El estudio argumenta explícitamente contra la idea de que una sola puntuación de prueba alta es suficiente para garantizar la confiabilidad de una máquina en el lugar de trabajo. Demuestra que un sistema con una puntuación promedio alta aún puede fallar catastróficamente si carece de una habilidad específica y oculta requerida para un trabajo particular. Los investigadores también advierten que sus hallazgos se basan en la generación actual de modelos de IA y en las pruebas específicas disponibles hoy. A medida que se construyan nuevas máquinas y se desarrollen nuevas pruebas, los perfiles deberán actualizarse. Sin embargo, el método en sí mismo sigue siendo robusto. Al separar la medición de lo que una máquina puede hacer de la medición de lo que un trabajo requiere, el marco proporciona un lenguaje científico y estable para discutir el futuro del trabajo. Sugiere que el camino a seguir no consiste en encontrar una máquina que pueda hacerlo todo, sino en emparejar cuidadosamente las capacidades específicas e irregulares de nuestras herramientas actuales con las demandas específicas e irregulares del trabajo humano, asegurando que la automatización se despliegue donde realmente tendrá éxito.