Adoption Telemetry: Measuring Enterprise AI Adoption from Production Signals
Questo articolo introduce la "telemetria di adozione", un framework e un'implementazione open-source (NANTE) che misura l'adozione dell'IA nelle imprese mappando i segnali di utilizzo in produzione su una progressione di gestione del cambiamento in cinque fasi, definendo esplicitamente le sue soglie come costrutti testabili per una futura validazione empirica.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel moderno mondo del lavoro, si è instaurato un paradosso silenzioso. Le aziende si sono affrettate a installare strumenti di intelligenza artificiale, sperando di automatizzare i compiti e rimodellare il modo in cui il lavoro viene svolto. Eppure, nonostante una diffusione quasi universale, i risultati sono stati deludenti. Gli studi dimostrano che la stragrande maggioranza di questi progetti non riesce a fornire un valore finanziario misurabile, e molti vengono abbandonati del tutto. Il consenso tra gli esperti è che la tecnologia in sé non sia il problema; le macchine funzionano come progettato. Il fallimento risiede nell'elemento umano: le organizzazioni faticano a cambiare il modo in cui i propri dipendenti lavorano effettivamente. Non riescono a distinguere tra un team che ha semplicemente provato un nuovo strumento e uno che ha fondamentalmente riorganizzato la propria routine quotidaria attorno ad esso. Gli attuali strumenti di misurazione sono ciechi di fronte a questa distinzione. Possono contare quante persone hanno cliccato un pulsante o quante volte un sistema è stato aperto, ma non possono vedere se il lavoro stesso è cambiato. Questa lacuna lascia i leader nel dubbio, incapaci di diagnosticare perché l'adozione si blocchi o come risolverlo.
Un nuovo approccio chiamato "telemetria dell'adozione" cerca di risolvere questo problema rendendo visibile e misurabile il processo invisibile del cambiamento comportamentale. Invece di affidarsi a sondaggi o semplici conteggi di attività, questo metodo tratta l'adozione come un problema di ingegneria. Propone che le organizzazioni possano comprendere come le persone si stiano adattando all'IA analizzando le impronte digitali lasciate nei sistemi che utilizzano ogni giorno. I ricercatori dietro questo lavoro, guidati da Damon A. Young, hanno costruito un framework che legge questi segnali di produzione — come quante volte uno strumento viene utilizzato, quanto dura una sessione e se i compiti completati sono stati esegsi con successo — e li mappa su specifici stadi di cambiamento. L'obiettivo non è solo contare l'uso, ma individuare esattamente dove un gruppo di dipendenti si blocca nel percorso che va dal sapere che uno strumento esiste all'integrarlo nel tessuto del proprio lavoro quotidiano.
Il cuore di questo nuovo framework è un modello in cinque fasi chiamato NANTE, che sta per Notice (Notare), Attempt (Tentare), Navigate (Navigare), Transform (Trasformare) ed Embed (Integrare). Ogni fase rappresenta una tappa distinta nel modo in cui una persona si relaziona con una nuova capacità. Le prime tre fasi — Notice, Attempt e Navigate — misurano la portata (breadth). Monitorano se le persone sanno che lo strumento esiste, se lo hanno provato almeno una volta e se vi sono tornate per usarlo ripetutamente. Le ultime due fasi — Transform e Embed — misurano la profondità (depth). È qui che avviene il vero cambiamento. "Transform" significa che lo strumento è diventato parte di flussi di lavoro complessi e multi-fase ed è utilizzato con successo per svolgere il lavoro reale. "Embed" significa che l'integrazione è così profonda che rimuovere lo strumento interromperebbe l'output del team. I ricercatori hanno scoperto che la maggior parte delle organizzazioni si blocca proprio al confine tra la terza e la quarta fase. Le persone usano gli strumenti, ma non cambiano le loro abitudini lavorative. Il nuovo sistema è progettato per rendere visibile questo specifico "dirupo", distinguendo tra un team che sta semplicemente esplorando e uno che ha veramente integrato la tecnologia.
Per testare se questa idea funzioni, i ricercatori hanno costruito un toolkit open-source e creato una serie di popolazioni simulate per vedere se il sistema potesse identificare correttamente diversi tipi di fallimenti dell'adozione. Hanno progettato sei scenari distinti: un gruppo sano che ha adottato con successo lo strumento, e cinque gruppi che rappresentano i modi comuni in cui l'adozione può andare male. Questi fallimenti includevano team che hanno provato lo strumento ma non sono andati in profondità, team che sapevano dello strumento ma non hanno mai iniziato, team che lo hanno usato frequentemente ma hanno fallito nei compiti, e team in cui solo pochi "campioni" lo usavano mentre gli altri no. I risultati della simulazione hanno mostrato che il sistema poteva distinguere meccanicamente tra questi gruppi. Ad esempio, poteva distinguere tra un team sano e un team in "plateau superficiale". Su una dashboard di utilizzo standard, entrambi i gruppi potrebbero apparire identici perché presentano numeri elevati di utenti attivi. Tuttavia, il nuovo sistema vedeva che il team sano si era spostato nelle fasi profonde dell'integrazione del flusso di lavoro, mentre l'altro team si era fermato al livello superficiale. Ha inoltre identificato correttamente quando un team falliva per mancanza di competenze rispetto a quando falliva per mancanza di motivazione.
I ricercatori precisano con cura che, sebbene il sistema funzioni in queste simulazioni, i numeri specifici utilizzati per definire ogni fase non sono ancora fatti provati. Le soglie — come quante settimane di utilizzo sono necessarie per essere considerate "ricorrenti" — sono punti di partenza proposti che possono essere testati e regolati. Le prove attuali derivano da dati sintetici, non da aziende reali. L'autore nota esplicitamente che non hanno ancora validato queste regole rispetto ai risultati aziendali effettivi. Invitano le organizzazioni a collaborare con loro per testare il sistema su dati reali, il che permetterebbe di calibrare le soglie e confermare che le diagnosi corrispondano alla realtà. Fino ad allora, il sistema deve essere visto come un'ipotesi strutturata piuttosto che come un verdetto finale. I ricercatori riconoscono anche che il sistema ha dei limiti: non può misurare ciò che le persone provano o pensano, ma solo ciò che fanno. Non può ancora rilevare se un team stia fingendo di usare lo strumento per compiacere un manager, né può misurare pienamente il successo di agenti autonomi che lavorano senza l'iniziativa umana.
Ciò che rende importante questo lavoro non è solo lo strumento in sé, ma l'argomento secondo cui un tale strumento mancava. I ricercatori spiegano che il fallimento nel misurare correttamente l'adozione non è un incidente, ma un problema strutturale. I diversi gruppi che solitamente si occupano di queste misurazioni — coloro che costruiscono l'IA, coloro che vendono il software e coloro che gestiscono il cambiamento organizzativo — operano in silos separati. Chi costruisce l'IA si concentra sul fatto che il codice funzioni. Chi vende il software si concentra sul fatto che le persone effettuino l'accesso. Chi gestisce il cambiamento si concentra su ciò che le persone dicono nei sondaggi. Nessuno di questi gruppi ha costruito un sistema che combini i dati tecnici con un modello di cambiamento del comportamento umano. Questo nuovo framework tenta di colmare tale divario unificando queste prospettive in un unico strumento. Suggerisce che il prossimo passo per l'IA aziendale non siano algoritmi migliori, ma modi migliori per vedere come gli esseri umani stiano effettivamente cambiando il proprio lavoro. Rendendo visibile l'invisibile, le organizzazioni potranno finalmente superare l'entusiasmo iniziale del deployment e affrontare la vera sfida di un'adozione duratura.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.