Using profiles of cognitive capability to assess AI suitability for workplace tasks

Nel moderno mondo del lavoro, una domanda silenziosa ma urgente sta rimodellando il modo in cui le organizzazioni pensano al proprio futuro: quali lavori possono essere affidati in sicurezza all'intelligenza artificiale e quali devono rimanere in mano umana? Per anni, la risposta è stata elusiva. Le aziende spesso si affidano a punteggi aggregati e generici per giudicare l'intelligenza di una macchina, proprio come un preside potrebbe giudicare l'intero anno scolastico di uno studente basandosi su un singolo esame finale. Questi punteggi offrono un'istantanea delle prestazioni generali, ma raramente spiegano perché un sistema abbia successo o fallisca, né prevedono come gestirà la complessità disordinata e imprevedibile del lavoro reale. Quando una macchina fallisce in un test controllato, è spesso un mistero; quando fallisce in un ufficio o in una fabbrica reale, le conseguenze possono essere costose e pericolose. La sfida centrale è che l'intelligenza artificiale non pensa come un essere umano. I suoi punti di forza e di debolezza sono frastagliati e irregolari; potrebbe possedere una vasta biblioteca di fatti, ma faticare con la semplice logica di pianificare una sequenza di eventi. Per implementare questi sistemi in modo sicuro, i leader hanno bisogno di un modo per mappare le specifiche richieste cognitive di un lavoro rispetto alle specifiche capacità cognitive di una macchina, andando oltre le supposizioni verso una valutazione chiara e basata sull'evidenza.

Un nuovo rapporto tecnico di ricercatori dell'Università di Cambridge e di altre istituzioni offre una soluzione a questo problema. Invece di chiedere se una macchina possa eseguire un compito specifico, il team ha sviluppato una pipeline per profilare le abilità mentali sottostanti richieste da quel compito e confrontarle direttamente con le capacità della macchina. Hanno iniziato scomponendo il complesso mondo dei test di intelligenza artificiale in diciotto abilità cognitive centrali, come la memoria, il ragionamento, la pianificazione e la comprensione sociale. Utilizzando una massiccia collezione di domande di test esistenti, hanno annotato ciascuna di esse per determinare esattamente quale di queste abilità mentali richiedesse e quanto fosse difficile. Questo ha creato una "mappa delle richieste" dettagliata dei test. Hanno poi utilizzato questa mappa per inferire il vero profilo cognitivo di sei diversi sistemi di IA, non solo guardando ai loro punteggi finali, ma analizzando come si siano comportati attraverso i diversi tipi di sfide mentali. Il risultato è stato un profilo per ogni macchina che mostrava esattamente dove le sue abilità erano forti e dove erano fragili, rivelando che, sebbene i sistemi variassero in potenza complessiva, condividevano una forma di punti di forza e di debolezza sorprendentemente simile.

Per rendere questi profili utili per decisioni nel mondo reale, i ricercatori dovevano sapere cosa i lavoratori umani facciano effettivamente per svolgere i propri compiti. Hanno intervistato 410 dipendenti in sei diversi campi occupazionali, che vanno dalla logistica di magazzino e la produzione alla assistenza clienti e l'analisi dei dati. Piuttosto che chiedere a questi lavoratori di prevedere quanto bene potrebbe farlo una macchina, i ricercatori hanno chiesto loro di identificare le abilità mentali più critiche necessarie per le loro attività quotidiane. I dipendenti hanno classificato l'importanza di abilità come il problem-solving, la pianificazione e la comunicazione per i loro ruoli specifici. Questo processo ha rivelato un "nucleo cognitivo" comune a quasi tutti i lavori: una forte dipendenza dalla memoria, dal linguaggio e dalla capacità di pianificare in anticipo. Sebbene diversi lavori enfatizzassero diverse abilità secondarie — come il ragionamento spaziale per i lavoratori del magazzino o la comprensione sociale per il personale delle vendite — il fondamentale meccanismo mentale richiesto per il lavoro era sorprendentemente coerente in tutto il settore.

Quando i ricercatori hanno sovrapposto i profili dell'IA ai requisiti lavorativi, è emersa un'immagine chiara di idoneità. Lo studio ha scoperto che i sistemi di IA più avanzati erano più adatti a compiti che facevano pesantemente affidamento sul linguaggio, sulla conoscenza dei fatti e l'interazione sociale, aree in cui le macchine attuali eccellono. Tuttavia, hanno costantemente faticato con compiti che richiedevano una pianificazione complessa, il ragionamento su oggetti fisici o la comprensione di causa-effetto in ambienti dinamici. Fondamentalmente, i ricercatori hanno scoperto che le differenze tra i vari modelli di IA erano molto più piccole delle differenze tra i diversi tipi di abilità cognitive. In altre parole, un sistema di IA non era radicalmente diverso da un altro nella sua "personalità" complessiva; piuttosto, tutti erano forti in alcuni ambiti e deboli in altri. I sistemi più capaci mostravano solo modesti miglioramenti nella pianificazione e nel controllo rispetto ai loro pari, suggerendo che, sebbene le macchine stiano diventando migliori nell'organizzare le informazioni, sono ancora lontane dal padroneggiare il tipo di comportamento flessibile e orientato agli obiettivi che gli esseri umani danno per scontato.

Il framework ha fornito anche un modo per calcolare un "punteggio di idoneità" per qualsiasi compito specifico, consentendo alle organizzazioni di vedere quali compiti sono pronti per l'automazione e quali no. Combinando il profilo delle capacità della macchina con l'importanza del compito per l'azienda, il sistema poteva evidenziare opportunità prioritarie in cui l'IA sarebbe stata sia efficace che preziosa. Ad esempio, compiti come l'analisi dei dati e la ricerca amministrativa sono emersi come forti candidati per l'automazione, mentre i ruoli che richiedono un profondo rapporto interpersonale o un complesso ragionamento fisico sono rimasti saldamente nel dominio umano. I ricercatori hanno testato questo approccio su una singola azienda, mostrando come lo stesso metodo potesse essere adattato alle esigenze uniche di un'organizzazione specifica, passando dalle tendenze generali del settore ai compiti specifici dei singoli dipendenti.

Lo studio argomenta esplicitamente contro l'idea che un singolo punteggio di test elevato sia sufficiente a garantire l'affidabilità di una macchina nel posto di lavoro. Dimostra che un sistema con un alto punteggio medio può comunque fallire catastroficamente se manca di una specifica abilità nascosta richiesta per un particolare lavoro. I ricercatori avvertono anche che le loro scoperte si basano sull'attuale generazione di modelli di IA e sui test specifici disponibili oggi. Man mano che nuove macchine vengono costruite e nuovi test vengono sviluppati, i profili dovranno essere aggiornati. Tuttavia, il metodo stesso rimane robusto. Separando la misurazione di ciò che una macchina può fare dalla misurazione di ciò che un lavoro richiede, il framework fornisce un linguaggio scientifico stabile per discutere del futuro del lavoro. Suggerisce che la strada da seguire non consiste nel trovare una macchina che possa fare tutto, ma nel far corrispondere con cura le capacità specifiche e irregolari dei nostri strumenti attuali alle specifiche e irregolari richieste del lavoro umano, garantendo che l'automazione sia implementata dove avrà davvero successo.