Adoption Telemetry: Measuring Enterprise AI Adoption from Production Signals
Dit artikel introduceert "adoptie-telemetrie", een framework en open-source implementatie (NANTE) die de adoptie van enterprise AI meet door signalen uit productiegebruik in kaart te brengen naar een vijffasen-veranderingsmanagementprogressie, waarbij de drempelwaarden expliciet worden geformuleerd als toetsbare constructen voor toekomstige empirische validatie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne werkplek heeft een stille paradox de overhand genomen. Bedrijven zijn gehaast om kunstmatige intelligentie-instrumenten te installeren, in de hoop taken te automatiseren en de manier waarop werk wordt verricht te hervormen. Toch, ondanks de bijna universele uitrol, zijn de resultaten teleurstellend. Studies tonen aan dat het overgrote deel van deze projecten er niet in slaagt meetbare financiële waarde te leveren, en velen worden volledig gestaakt. De consensus onder experts is dat de technologie zelf niet het probleem is; de machines werken zoals ontworpen. De fout ligt in het menselijke element: organisaties worstelen met het veranderen van de manier waarop hun werknemers daadwerkelijk werken. Ze kunnen het verschil niet zien tussen een team dat slechts een nieuw hulpmiddel heeft geprobeerd en een team dat zijn dagelijkse routine fundamenteel eromheen heeft georganiseerd. Huidige meetinstrumenten zijn blind voor dit onderscheid. Ze kunnen tellen hoe vaak mensen op een knop hebben geklikt of hoe vaak een systeem is geopend, maar ze kunnen niet zien of het werk zelf is veranderd. Deze kloof laat leiders tasten in het duister, onmachtig om te diagnosticeren waarom adoptie stagneert of hoe het te herstellen.
Een nieuwe benadering genaamd "adoption telemetry" (adoptie-telemetrie) probeert dit op te lossen door het onzichtbare proces van gedragsverandering zichtbaar en meetbaar te maken. In plaats van te vertrouwen op enquêtes of eenvoudige activietetellingen, behandelt deze methode adoptie als een technisch vraagstuk. Het stelt voor dat organisaties kunnen begrijpen hoe hun mensen zich aanpassen aan AI door de digitale voetafdrukken te analyseren die zij achterlaten in de systemen die ze dagelijks gebruiken. De onderzoekers achter dit werk, onder leiding van Damon A. Young, hebben een raamwerk gebouwd dat deze productiesignalen leest — zoals hoe vaak een hulpmiddel wordt gebruikt, hoe lang een sessie duurt en of de taken succesvol zijn voltooid — en deze koppelt aan specifieke stadia van verandering. Het doel is niet alleen om gebruik te tellen, maar om exact aan te wijzen waar een groep werknemers vastloopt in de reis van het weten dat een hulpmiddel bestaat naar het verweven ervan in de stof van hun dagelijkelijke werk.
De kern van dit nieuwe raamwerk is een vijfstapsmodel genaamd NANTE, wat staat voor Notice (Opmerken), Attempt (Proberen), Navigate (Navigeren), Transform (Transformeren) en Embed (Inbedden). Elk stadium vertegenwoordigt een duidelijke mijlpaal in hoe een persoon zich tot een nieuwe capaciteit verhoudt. De eerste drie stadia — Notice, Attempt en Navigate — meten de breedte. Ze volgen of mensen weten dat het hulpmiddel bestaat, of ze het minstens één keer hebben geprobeerd, en of ze er herhaaldelijk naar zijn teruggekeerd voor gebruik. De laatste twee stadia — Transform en Embed — meten de diepte. "Transform" betekent dat het hulpmiddel onderdeel is geworden van complexe, meerstaps workflows en succesvol wordt gebruikt om echt werk te verrichten. "Embed" betekent dat de integratie zo diep is dat het verwijderen van het hulpmiddel de output van het team zou verstoren. De onderzoekers ontdekten dat de meeste organisaties vastlopen precies op de grens tussen het derde en vierde stadium. Mensen gebruiken de hulpmiddelen wel, maar ze veranderen hun werkgewoonten niet. Het nieuwe systeem is ontworpen om dit specifieke ravijn zichtbaar te maken, waarbij het onderscheid maakt tussen een team dat simpelweg aan het verkennen is en een team dat de technologie werkelijk heeft geïntegreerd.
Om te testen of dit idee werkt, hebben de onderzoekers een open-source toolkit gebouwd en een reeks gesimuleerde populaties gecreëerd om te zien of het systeem verschillende soorten adoptiefouten correct kon identificeren. Ze ontwierpen zes verschillende scenario's: één gezonde groep die het hulpmiddel succesvol adopteerde, en vijf groepen die veelvoorkomende manieren vertegenwoordigen waarop adoptie misgaat. Deze fouten omvatten teams die het hulpmiddel probeerden maar nooit diep gingen, teams die van het hulpmiddel wisten maar nooit begonnen, teams die het frequent gebruikten maar faalden bij de taken, en teams waar slechts enkele "champions" het hulpmiddel gebruikten terwijl de rest dat niet deed. De simulatie resultaten toonden aan dat het systeem mechanisch tussen deze groepen onderscheid kon maken. Het kon bijvoorbeeld het verschil zien tussen een gezond team en een "shallow plateau" (ondiep plateau) team. Op een standaard dashboard voor gebruik ziet beide groepen er identiek uit, omdat beide groepen hoge aantallen actieve gebruikers hebben. Echter, het nieuwe systeem zag dat het gezonde team naar de diepere stadia van workflow-integratie was bewogen, terwijl het andere team op het oppervlakkige niveau was blijven steken. Het identificeerde ook correct wanneer een team faalde door een gebrek aan vaardigheden versus wanneer ze faalden door een gebrek aan motivatie.
De onderzoekers benadrukken voorzichtig dat hoewel het systeem werkt in deze simulaties, de specifieke cijfers die worden gebruikt om elk stadium te definiëren nog geen bewezen feiten zijn. De drempelwaarden — zoals hoeveel weken gebruik nodig zijn om als "terugkerend" te tellen — zijn voorgestelde startpunten die getest en aangepast kunnen worden. Het huidige bewijs komt uit synthetische data, nog niet van echte bedrijven. De auteur merkt expliciet op dat zij deze regels nog niet hebben gevalideerd tegenover werkelijke zakelijke uitkomsten. Zij nodigen organisaties uit om met hen samen te werken om het systeem op echte data te testen, wat hen in staat zou stellen de drempelwaarden te kalibreren en te bevestigen dat de diagnoses overeenkomen met de realiteit. Tot die tijd moet het systeem worden beschouwd als een gestructureerde hypothese in plaats van een definitief oordeel. De onderzoekers erkennen ook dat het systeem beperkingen heeft; het kan niet meten wat mensen voelen of denken, alleen wat ze doen. Het kan nog niet detecteren of een team doet alsof ze het hulpmiddel gebruiken om aan de verwachtingen van een manager te voldoen, noch kan het volledig het succes meten van autonome agenten die werken zonder menselijke initiatie.
Wat dit werk belangrijk maakt, is niet alleen het hulpmiddel zelf, maar het argument dat een dergelijk hulpmiddel ontbrak. De onderzoekers leggen uit dat het falen om adoptie goed te meten geen toeval is, maar een structureel probleem. De verschillende groepen die gewoonlijk deze metingen afhandelen — zij die de AI bouwen, zij die de software verkopen, en zij die organisatorische verandering beheren — opereren in aparte silo's. De AI-bouwers richten zich op de vraag of de code werkt. De softwareverkopers richten zich op de vraag of mensen inloggen. De verandermanagers richten zich op wat mensen zeggen in enquêtes. Geen van deze groepen heeft een systeem gebouwd dat technische data combineert met een model van menselijke gedragsverandering. Dit nieuwe raamwerk probeert die kloof te overbruggen door deze perspectieven te verenigen in één enkel instrument. Het suggereert dat de volgende stap in enterprise AI niet betere algoritmen zijn, maar betere manieren om te zien hoe mensen hun werk daadwerkelijk veranderen. Door het onzichtbare zichtbaar te maken, kunnen organisaties eindelijk voorbij de initiële opwinding van implementatie gaan en de echte uitdaging van blijvende adoptie aanpakken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.