Adoption Telemetry: Measuring Enterprise AI Adoption from Production Signals
Este artículo introduce la "telemetría de adopción", un marco y una implementación de código abierto (NANTE) que mide la adopción de la IA empresarial mediante el mapeo de las señales de uso en producción hacia una progresión de gestión del cambio de cinco etapas, mientras define explícitamente sus umbrales como constructos comprobables para una futura validación empírica.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el lugar de trabajo moderno, una paradoja silenciosa se ha apoderado del entorno. Las empresas se han apresurado a instalar herramientas de inteligencia artificial, con la esperanza de automatizar tareas y remodelar la forma en que se realiza el trabajo. Sin embargo, a pesar de un despliegue casi universal, los resultados han sido decepcionantes. Los estudios muestran que la gran mayoría de estos proyectos no logran entregar un valor financiero mensurable, y muchos son abandonados por completo. El consenso entre los expertos es que la tecnología en sí misma no es el problema; las máquinas funcionan según lo diseñado. El fracaso reside en el elemento humano: las organizaciones luchan por cambiar la forma en que sus empleados trabajan realmente. No pueden distinguir entre un equipo que simplemente ha probado una nueva herramienta y uno que ha reorganizado fundamentalmente su rutina diaria en torno a ella. Las herramientas de medición actuales son ciegas ante esta distinción. Pueden contar cuántas personas hicieron clic en un botón o con qué frecuencia se abrió un sistema, pero no pueden ver si el trabajo en sí ha cambiado. Esta brecha deja a los líderes adivinando, incapaces de diagnosticar por qué la adopción se estanca o cómo solucionarlo.
Un nuevo enfoque llamado "telemetría de adopción" busca resolver esto convirtiendo el proceso invisible del cambio de comportamiento en algo visible y mensurable. En lugar de depender de encuestas o simples recuentos de actividad, este método trata la adopción como un problema de ingeniería. Propone que las organizaciones pueden entender cómo su gente se está adaptando a la IA analizando las huellas digitales que dejan en los sistemas que utilizan a diario. Los investigadores detrás de este trabajo, liderados por Damon A. Young, han construido un marco que lee estas señales de producción —como cuántas veces se usa una herramienta, cuánto dura una sesión y si las tareas completadas fueron exitosas— y las mapea con etapas específicas de cambio. El objetivo no es solo contar el uso, sino señalar exactamente dónde se queda atascado un grupo de empleados en el viaje desde saber que una herramienta existe hasta tejerla en el tejido de su trabajo diario.
El núcleo de este nuevo marco es un modelo de cinco etapas llamado NANTE, que significa Notar (Notice), Intentar (Attempt), Navegar (Navigate), Transformar (Transform) y Embeber (Embed). Cada etapa representa un hito distinto en cómo una persona se relaciona con una nueva capacidad. Las tres primeras etapas —Notar, Intentar y Navegar— miden la amplitud. Rastrean si la gente sabe que la herramienta existe, si la han probado al menos una vez y si han regresado para usarla repetidamente. Las dos últimas etapas —Transformar y Embeber— miden la profundidad. Aquí es donde ocurre el verdadero cambio. "Transformar" significa que la herramienta se ha convertido en parte de flujos de trabajo complejos y de múltiples pasos, y se está utilizando con éxito para realizar el trabajo real. "Embeber" significa que la integración es tan profunda que eliminar la herramienta interrumpiría la producción del equipo. Los investigadores descubrieron que la mayoría de las organizaciones se quedan estancadas justo en el límite entre la tercera y la cuarta etapa. La gente está usando las herramientas, pero no está cambiando sus hábitos de trabajo. El nuevo sistema está diseñado para hacer visible este precipicio específico, distinguiendo entre un equipo que simplemente está explorando y uno que realmente ha integrado la tecnología.
Para probar si esta idea funciona, los investigadores construyeron un conjunto de herramientas de código abierto y crearon una serie de poblaciones simuladas para ver si el sistema podía identificar correctamente diferentes tipos de fallos de adopción. Diseñaron seis escenarios distintos: un grupo sano que adoptó la herramienta con éxito, y cinco grupos que representan formas comunes en las que la adopción sale mal. Estos fallos incluyeron equipos que probaron la herramienta pero nunca profundizaron, equipos que sabían de la existencia de la herramienta pero nunca empezaron, equipos que la usaron con frecuencia pero fallaron en las tareas, y equipos donde solo unos pocos "campeones" la usaron mientras que el resto no. Los resultados de la simulación mostraron que el sistema podía distinguir mecánicamente entre estos grupos. Por ejemplo, podía diferenciar entre un equipo sano y un equipo de "meseta superficial". En un panel de control de uso estándar, ambos grupos podrían parecer idénticos porque ambos tienen números altos de usuarios activos. Sin embargo, el nuevo sistema vio que el equipo sano había pasado a las etapas profundas de integración del flujo de trabajo, mientras que el otro equipo se había estancado en el nivel superficial. También identificó correctamente cuándo un equipo estaba fallando por falta de habilidades frente a cuándo fallaba por falta de motivación.
Los investigadores aclaran cuidadosamente que, si bien el sistema funciona en estas simulaciones, los números específicos utilizados para definir cada etapa aún no son hechos probados. Los umbrales —como cuántas semanas de uso se necesitan para contar como "recurrente"— son puntos de partida propuestos que pueden ser probados y ajustados. La evidencia actual proviene de datos sintéticos, no de empresas reales todavía. El autor señala explícitamente que no han validado estas reglas contra resultados de negocio reales. Están invitando a las organizaciones a colaborar con ellos para probar el sistema con datos reales, lo que permitiría calibrar los umbrales y confirmar que los diagnósticos coinciden con la realidad. Hasta entonces, el sistema debe verse como una hipótesis estructurada más que como un veredicto final. Los investigadores también reconocen que el sistema tiene límites; no puede medir lo que la gente siente o piensa, solo lo que hace. No puede detectar aún si un equipo está fingiendo usar la herramienta para satisfacer a un gerente, ni puede medir plenamente el éxito de los agentes autónomos que trabajan sin iniciación humana.
Lo que hace que este trabajo sea significativo no es solo la herramienta en sí, sino el argumento de que faltaba una herramienta de este tipo. Los investigadores explican que el fracaso al medir la adopción adecuadamente no es un accidente, sino un problema estructural. Los diferentes grupos que suelen manejar estas mediciones —quienes construyen la IA, quienes venden el software y quienes gestionan el cambio organizacional— operan en silos separados. Los constructores de IA se enfocan en si el código funciona. Los vendedores de software se enfocan en si la gente inicia sesión. Los gestores de cambio se enfocan en lo que la gente dice en las encuestas. Ninguno de estos grupos ha construido un sistema que combine los datos técnicos con un modelo de cambio de comportamiento humano. Este nuevo marco intenta cerrar esa brecha unificando estas perspectivas en un solo instrumento. Sugiere que el siguiente paso de la IA empresarial no son mejores algoritmos, sino mejores formas de ver cómo los humanos están cambiando realmente su trabajo. Al hacer visible lo invisible, las organizaciones podrán finalmente superar la emoción inicial del despliegue y abordar el verdadero desafío de la adopción duradera.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.