💻 computer science

Measuring Successful Cooperation in Human-AI Teamwork: Development and Validation of the Perceived Cooperativity and Teaming Perception Scales

Questo articolo presenta e convalida due nuove scale, la Scala della Cooperatività Percepita (PCS) e la Scala della Percezione del Lavoro di Squadra (TPS), che misurano efficacemente la qualità soggettiva del lavoro di squadra tra umani e intelligenza artificiale in contesti diversi attraverso tre studi empirici.

Autori originali: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Pubblicato 2026-04-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Christiane Attig, Christiane Wiebel-Herboth, Patricia Wollstadt, Tim Schrills, Mourad Zoubir, Thomas Franke

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di provare a cuocere una torta con un nuovo assistente robotico ad alta tecnologia. A volte, il robot è straordinario: sa esattamente quando mescolare, ti dice se il forno è troppo caldo e ti senti come parte di una squadra di pasticceria perfetta. Altre volte, il robot è confuso: brucia l'impasto, ignora le tue istruzioni o agisce come se non sapesse cosa sta facendo.

Questo articolo riguarda la creazione di due speciali "pagelle" (chiamate scale) per misurare esattamente quanto bene si sente quella partnership di pasticceria, dal tuo punto di vista. I ricercatori, lavorando con Honda e l'Università di Lubecca, volevano andare oltre il semplice chiedere: "Ti piace questo robot?" per passare a chiedere: "Quanto bene abbiamo effettivamente lavorato insieme?".

Ecco una panoramica del loro lavoro utilizzando analogie semplici:

Le Due Pagelle

I ricercatori hanno realizzato che lavorare con l'IA avviene in due modi diversi, quindi hanno costruito due diversi strumenti di misurazione:

1. La Pagella "Momento Singolo" (Scala della Cooperatività Percepita - PCS)

Cosa misura: Quanto bene l'IA ha agito durante un compito specifico.
L'Analogia: Pensa a questo come giudicare un singolo movimento di danza. Il tuo partner ha guidato chiaramente? Ha seguito la tua guida? È rimasto a tempo solo per questa canzone?
La Teoria: Si basa sulla "Teoria dell'Attività Congiunta". Verifica se l'IA era trasparente (sapevi cosa stava pensando), affidabile (ha fatto quello che diceva) e reattiva (ti ha ascoltato).
Il Risultato: L'hanno testata su 409 persone in tre scenari diversi: giocare a un gioco di carte cooperativo, chiacchierare con un chatbot e utilizzare il pianificatore di viaggi di un'auto. La pagella ha funzionato benissimo! È riuscita a distinguere chiaramente tra un partner umano (che ha ottenuto punteggi alti), un robot basato su regole intelligente ma prevedibile (punteggi medi) e un robot che imparava per tentativi ed errori e si confondeva (punteggi bassi).

2. La Pagella "Squadra a Lungo Termine" (Scala della Percezione di Teamwork - TPS)

Cosa misura: La sensazione che tu e l'IA siate diventati una vera squadra nel tempo.
L'Analogia: Non si tratta solo di un singolo movimento di danza; si tratta di sentire di far parte di una compagnia di danza. Senti che entrambi state investendo sforzi? Senti di condividere un obiettivo comune? Senti che il robot è un "compagno di squadra" piuttosto che solo uno strumento?
La Teoria: Si basa sulla "Teoria della Cooperazione Evolutiva". Esamina se entrambe le parti stanno pagando un "costo" (sforzo) per aiutare l'altra a avere successo.
Il Risultato: Questa scala ha tre parti:
- La Squadra: "Siamo un'unità."
- Il Partner: "Tu mi stai aiutando."
- Il Sé: "Io sto aiutando te."
- Il Colpo di Scena: La parte del "Sé" era complicata. Le persone tendevano a dare a se stesse punteggi alti indipendentemente da quanto fosse cattivo il robot. È come uno studente che pensa: "Ho studiato sodo!" anche se in realtà non ha studiato. I ricercatori hanno scoperto che questa parte della scala è sensibile alla situazione; funziona meglio quando le persone hanno più libertà di scegliere quanto lavorare sodo.

Come l'Hanno Testata (I Tre Studi)

Per assicurarsi che le loro pagelle fossero accurate, hanno utilizzato tre diversi "campi di addestramento":

Il Gioco di Carte (Hanabi): Immagina un gioco in cui non puoi vedere le tue carte e devi affidarti ai suggerimenti del tuo partner.
- Il Test: Le persone hanno giocato con un umano, un robot che seguiva regole rigide e un robot che imparava da solo.
- La Scoperta: Le pagelle sono riuscite a classificarle con successo: Umano > Robot Basato su Regole > Robot che Impara. Il robot che imparava era spesso confuso, quindi le persone non sentivano di stare cooperando bene.
Il Chatbot (LLM): Le persone hanno usato un chatbot per verificare i fatti degli articoli.
- Il Test: Hanno usato bot che erano utili, bot che erano utili ma aggiungevano modifiche indesiderate e bot che fallivano.
- La Scoperta: Le scale hanno rilevato le differenze nel modo in cui i bot sembravano "cooperativi".
Il Pianificatore di Viaggi in Auto: Le persone hanno usato il pianificatore di viaggi di una Tesla per trovare le stazioni di ricarica.
- Il Test: Questo era un "caso limite". L'auto non è davvero un "compagno di squadra"; è solo uno strumento.
- La Scoperta: La pagella "Momento Singolo" (PCS) ha funzionato bene anche qui. Tuttavia, la pagella "Squadra a Lungo Termine" (TPS) non è stata utilizzata perché un pianificatore di viaggi in auto non ha davvero una "mente" o "obiettivi" con cui fare squadra. Non puoi davvero sentirti parte di una squadra con un GPS.

Cosa Hanno Imparato (Le Conclusioni)

La pagella "Momento Singolo" è solida come una roccia. È un modo molto affidabile per misurare quanto bene un'IA agisce durante un compito specifico. Funziona per tutto, dai chatbot ai bot di gioco.
La pagella "Squadra" è potente ma richiede cautela. Misura la profonda sensazione di partnership. Tuttavia, la parte in cui le persone valutano il proprio contributo è un po' distorta. Le persone tendono a pensare di essere grandi compagni di squadra anche quando l'IA è terribile. Questo suggerisce che in situazioni rigide (come un gioco di carte in cui devi cooperare), le auto-valutazioni delle persone non cambiano molto.
Il contesto conta. Se stai solo usando uno strumento (come una calcolatrice o un GPS), il sentimento di "Squadra" non si applica davvero. Ma se stai lavorando a un progetto complesso in cui tu e l'IA dovete affidarvi l'uno all'altra, queste scale ti dicono se quella partnership sta funzionando.

Perché Questo È Importante

Prima di questo, avevamo principalmente strumenti per chiedere: "Ti fidi dell'IA?" o "Questa IA è intelligente?". Questo articolo ci offre un modo per chiedere: "Quanto bene stiamo lavorando insieme proprio ora?" e "Ci sentiamo come una squadra?".

Questo aiuta i progettisti a costruire un'IA migliore. Se un robot ottiene punteggi bassi su "prevedibilità", i progettisti sanno di rendere le azioni del robot più chiare. Se il punteggio "Squadra" è basso, sanno che il robot deve mostrare più supporto e obiettivi condivisi.

In breve: I ricercatori hanno costruito due righelli. Uno misura quanto bene un robot balla in una singola canzone. L'altro misura se senti che tu e il robot siete in una compagnia di danza insieme. Hanno testato questi righelli su 409 persone e hanno scoperto che funzionano bene, anche se il righello "compagnia di danza" deve essere usato con cautela a seconda di quanto libertà ha l'umano di muoversi.

1. Enunciato del Problema

Mentre l'Intelligenza Artificiale (AI) diventa sempre più integrata nella vita quotidiana e negli ambienti di lavoro ibridi, vi è un bisogno critico di strumenti affidabili per valutare la qualità soggettiva della cooperazione uomo-AI. Sebbene le scale esistenti misurino atteggiamenti generali verso l'AI o l'alfabetizzazione AI, non riescono a catturare le dinamiche specifiche e orientate al processo delle interazioni cooperative.

Gli autori identificano una lacuna nella misurazione di due dimensioni distinte dell'integrazione uomo-AI:

Integrazione Sincronica: Il grado di interdipendenza all'interno di una singola sequenza di compiti (ad esempio, una specifica interazione).
Integrazione Diacronica: La continuità e la stabilità della cooperazione attraverso interazioni ripetute nel tempo (ad esempio, partnership a lungo termine).

Gli strumenti attuali non differenziano adeguatamente tra la percezione della capacità cooperativa di un agente in un singolo momento e il senso emergente di "lavoro di squadra" (teaming) che si sviluppa nel tempo. Inoltre, manca una serie di strumenti validati che consentano un confronto diretto tra cooperazione uomo-uomo e cooperazione uomo-AI.

2. Metodologia

Quadro Teorico

Lo studio introduce due scale teoricamente fondate:

Scala della Cooperatività Percepita (PCS): Basata sulla Teoria dell'Attività Congiunta. Misura la capacità percepita e la pratica di un agente all'interno di una singola sequenza di interazione. Opera otto caratteristiche di agenti efficaci: osservabilità, monitorabilità, comunicatività, autovalutazione, affidabilità, dirigibilità, selettività e coordinazione.
Scala della Percezione del Lavoro di Squadra (TPS): Basata sulla Teoria della Cooperazione Evolutiva e sui framework di azione condivisa. Misura il senso emergente di lavoro di squadra derivante dal contributo e dal supporto reciproci. È concettualizzata come avente tre facce:
- Team: Il senso emergente del gruppo nel suo insieme.
- Sé: L'investimento e il supporto cooperativo del proprio essere umano.
- Partner: La percezione da parte dell'umano del supporto e dei contributi dell'AI.

Costruzione della Scala

Generazione degli Item: I pool iniziali di item sono stati derivati da costrutti teorici. Gli item sono stati formulati in un linguaggio accessibile (ad esempio, "Ho avuto la sensazione che...") per garantire una risposta intuitiva.
Adattamento: Entrambe le scale sono state sviluppate con versioni parallele per partner AI (PCS-A, TPS-A) e partner umani (PCS-H, TPS-H) per consentire confronti cross-agente.
Traduzione: Sono stati utilizzati rigorosi procedimenti di traduzione e retro-traduzione per garantire l'equivalenza linguistica tra le versioni tedesca e inglese.

Disegno dello Studio e Campioni

Le scale sono state validate attraverso tre studi indipendenti che hanno coinvolto un totale di N = 409 partecipanti con demografie e contesti diversi:

Studio 1 (Gioco di Carte Hanabi): Un gioco cooperativo ad alta interdipendenza. I partecipanti hanno giocato con un partner umano, un agente AI basato su regole (RB) e un agente AI basato sull'apprendimento per rinforzo (RL). Ciò ha testato la capacità delle scale di differenziare tra partner con diversi livelli di trasparenza e prevedibilità cooperativa.
Studio 2 (Interazione LLM): I partecipanti hanno verificato i fatti di articoli utilizzando quattro versioni di un chatbot LLM con diversi gradi di autonomia e allineamento degli obiettivi (Focalizzato, Potenziato, In conflitto, Fallito). Ciò ha testato la sensibilità a diverse qualità cooperative in un contesto a bassa interdipendenza.
Studio 3 (Pianificatore di Viaggi Tesla): Un'interazione reale con un sistema di supporto alle decisioni (bassa agenzia). Ciò ha servito come caso limite per testare l'applicabilità della PCS in contesti in cui il "partner" è uno strumento piuttosto che un agente.

Analisi Psicometrica

Gli autori hanno impiegato procedure standard di valutazione delle scale:

Dimensionalità: Analisi Fattoriale Esplorativa (EFA) e Analisi Fattoriale Confermativa (CFA) per determinare la struttura fattoriale.
Affidabilità: Alfa di Cronbach $\alpha$ e Omega di McDonald $\omega$ .
Validità: Validità discriminante (correlazioni con SIPA, fiducia, calore, competenza, accettazione) e validità di criterio (capacità di differenziare tra tipi di partner).

3. Contributi Chiave

Sviluppo di Due Nuove Scale: La creazione della PCS (14 item dopo la raffinazione) e della TPS (9 item, 3 sottoscale) specificamente progettate per il lavoro di squadra uomo-AI.
Fondamento Teorico: Le scale sono esplicitamente collegate alla Teoria dell'Attività Congiunta (sincronica) e alla Teoria della Cooperazione Evolutiva (diacronica), fornendo una solida base teorica per la ricerca futura.
Comparabilità Cross-Agente: L'inclusione di versioni per partner umani permette ai ricercatori di confrontare direttamente le prestazioni AI con le prestazioni umane utilizzando metriche identiche.
Validazione Empirica: Validazione completa attraverso tre contesti distinti (gioco, chat LLM, navigazione nel mondo reale) e popolazioni diverse (studenti, lavoratori Prolific, guidatori di veicoli elettrici).

4. Risultati

Dimensionalità e Analisi degli Item

PCS: CFA ed EFA hanno supportato una struttura unidimensionale. L'item PCS14 ("Ho avuto la sensazione che la persona/agente fosse in grado di rendersi conto che avevamo approcci diversi...") ha mostrato una scarsa discriminazione e valutazioni di fiducia basse in tutti i contesti ed è stato escluso, risultando in una scala finale di 14 item.
TPS: Sebbene i risultati EFA fossero misti, gli autori hanno mantenuto una struttura teorica a tre fattori (Team, Sé, Partner).
- Le sottoscale Team e Partner hanno mostrato un'alta coerenza interna e una buona discriminazione degli item.
- La sottoscala Sé ha mostrato affidabilità scarsa o discutibile (specialmente nel contesto di gioco) e una bassa discriminazione degli item. L'analisi suggerisce che questa sottoscala potrebbe catturare una valutazione di sé stabile e positivamente distorta piuttosto che dinamiche specifiche dell'interazione, specialmente quando le strutture del compito limitano la varianza comportamentale.

Affidabilità

PCS: Ha dimostrato un'eccellente coerenza interna ( $\alpha \approx .93$ ) in tutti i campioni e contesti.
TPS: La scala composita e le sottoscale Team/Partner hanno mostrato un'affidabilità da buona a eccellente ( $\alpha \approx .88 - .96$ ). L'affidabilità della sottoscala Sé è migliorata nei contesti non di gioco (studio LLM) dove i partecipanti avevano maggiore agenzia.

Validità

Validità Costrutto: Entrambe le scale hanno mostrato le attese correlazioni positive con la competenza percepita, l'affidabilità del sistema e la consapevolezza soggettiva dell'elaborazione delle informazioni (SIPA).
Differenziazione (Validità di Criterio): Entrambe le scale hanno differenziato con successo tra partner di cooperazione di qualità variabile:
- Ordinamento: Partner Umano > AI Basata su Regole > AI basata su Apprendimento per Rinforzo (Studio 1); LLM Allineato > LLM Non Allineato/Fallito (Studio 2).
- Dimensioni dell'Effetto: Sono state trovate grandi dimensioni dell'effetto per le differenze tra i tipi di partner, confermando la sensibilità delle scale alla qualità cooperativa.
Caso Limite: Nello Studio 3 (Pianificatore di Viaggi Tesla), la PCS è rimasta significativa anche con un sistema a bassa agenzia, sebbene la TPS non fosse stata somministrata poiché le condizioni per il "lavoro di squadra" non erano soddisfatte.

5. Significato e Implicazioni

Strumento Diagnostico per la Progettazione AI: Gli item della PCS mappano direttamente su specifiche capacità cooperative (ad esempio, osservabilità, affidabilità). Punteggi bassi su specifici item possono fornire feedback attuabili ai progettisti su quali comportamenti dell'agente necessitano miglioramento.
Differenziazione tra "Strumento" e "Compagno di Squadra": Le scale aiutano a distinguere tra interazioni in cui l'AI è meramente uno strumento (misurata bene dalla PCS) e interazioni in cui emerge un genuino senso di lavoro di squadra (misurato dalla TPS).
Guida per i Ricercatori: Il paper fornisce raccomandazioni specifiche sull'uso delle scale, tra cui:
- Valutare il grado di integrazione sincronica/diacronica prima di scegliere una scala.
- Somministrare le scale immediatamente dopo gli episodi di interazione piuttosto che retrospettivamente.
- Interpretare la sottoscala "Sé" della TPS con cautela a causa del potenziale bias di positività.
Fondamento per la Ricerca Futura: Le scale consentono un'indagine empirica rigorosa sulle dinamiche dei team ibridi, la calibrazione della fiducia e l'evoluzione a lungo termine delle partnership uomo-AI.

Conclusione: Lo studio valida con successo la Scala della Cooperatività Percepita e la Scala della Percezione del Lavoro di Squadra come strumenti robusti e teoricamente fondati. Colmano una lacuna critica nella ricerca sull'interazione uomo-AI fornendo metriche affidabili per valutare la qualità soggettiva della cooperazione, applicabili in contesti diversi e capaci di distinguere tra diversi livelli di prestazioni cooperative dell'AI.