Studying People to Study AI: Expert Perspectives on the Epistemic Fit and Barriers of Human Research in AI Safety & Ethics

Immagina di voler costruire un robot che possa parlare, pensare e aiutare le persone. Vuoi assicurarti che il robot sia sicuro e che non faccia male a nessuno accidentalmente o dica qualcosa di cattivo. Per farlo, gli scienziati hanno eseguito dei test. Ma ecco la parte complicata: la maggior parte di questi test è come giocare a un videogioco in cui il robot parla con un altro robot. Simulano come potrebbe reagire un essere umano, o usano la matematica per controllare se il robot sta seguendo le regole. È veloce, economico e facile eseguire un milione di questi giochi "robot contro robot" in un giorno.

Tuttavia, c'è un grande problema con il solo gioco ai videogiochi. Proprio perché un robot supera un test contro un altro robot, non significa che sarà sicuro quando incontrerà un essere umano reale, disordinato ed emotivo. Gli esseri umani reali sono complicati. Si confondono, provano emozioni e potrebbero ingannare il robot in modi che una simulazione non potrebbe mai prevedere. Questo articolo pone una domanda semplice ma enorme: perché così tanti scienziati continuano ancora a giocare ai videogiochi con i robot invece di parlare davvero con persone reali per vedere cosa succede?

---

Il Grande Test del Robot: Perché Abbiamo Bisogno di Persone Reali, Non Solo di Simulazioni

Questo articolo è come un storia investigativa che indaga un strano vuoto nel mondo della sicurezza dell'IA. I ricercatori, un team di esperti provenienti da università come l'Università di Toronto e McGill, volevano capire perché il campo della Sicurezza e dell'Etica dell'IA (chiamiamolo AISE per brevità) sia così esitante nell'utilizzare esseri umani reali nei loro esperimenti.

Immaginate l'AISE come un enorme laboratorio dove le persone cercano di costruire i robot più sicuri e più etici possibili. All'interno di questo laboratorio, ci sono diversi gruppi di esperti. Alcuni sono maghi Tecnici che amano il codice, la matematica e l'esecuzione di simulazioni. Altri sono detective Sociotecnici che si interessano a come le persone si sentono e interagiscono realmente con la tecnologia. Ci sono anche persone della Governance che pensano a regole e leggi, e pensatori Normativi che si interrogano su ciò che è "giusto" o "buono".

La scoperta principale dell'articolo è che, sebbene tutti nel laboratorio concordino sul fatto che parlare con esseri umani reali sia super importante, il gruppo Tecnico lo sta ignorando per la maggior parte del tempo. Preferiscono le loro simulazioni veloci e pulite su computer. Gli autori hanno scoperto che questo non è dovuto solo al fatto che il gruppo Tecnico dia priorità all'efficienza; è perché hanno un modo diverso di pensare a cosa conti come "prova".

Il "Videogioco" contro il "Mondo Reale"

Gli autori descrivono una grande divisione. I ricercatori Tecnici spesso trattano gli esseri umani come variabili in un'equazione matematica. Vogliono misurare le cose con un righello e un cronometro. Se non possono misurarle perfettamente, spesso non si fidano. Temono che parlare con persone reali sia "disordinato".

Immaginate di dover testare un nuovo ponte.

• L'approccio della Simulazione: Costruite un modello digitale perfetto del ponte su un computer. Fate passare un milione di tempeste di vento attraverso di esso. Il computer dice: "È sicuro al 100%!". È veloce ed economico.
• L'approccio della Ricerca Umana: Costruite effettivamente il ponte e chiedete a persone reali di attraversarlo. Magari alcune persone si spaventano, o forse il vento sembra diverso da quello previsto dal computer, o forse il ponte oscilla in un modo che il modello non aveva previsto.

L'articolo suggerisce che l'AISE è attualmente ossessionata dal modello al computer. Stanno eseguendo miliardi di simulazioni (come i "videogiochi" menzionati in precedenza) per vedere se l'IA è sicura. Ma gli autori sostengono che questo sia rischioso. Se testate il vostro ponte solo in un computer, potreste perdere il fatto che le persone reali vanno nel panico quando soffia il vento, o che il ponte emette un rumore strano che le spaventa.

La trappola del "Human-Washing"

Una delle cose più interessanti di cui l'articolo avverte è quella che gli autori chiamano "human-washing" (lavaggio umano). È come il "green-washing", dove un'azienda mette una foglia su una bottiglia per farla sembrare ecologica senza esserlo davvero.

L' "human-washing" avviene quando i ricercatori dicono: "Ehi, abbiamo parlato con alcune persone!", solo per spuntare una casella. Ma non le hanno ascoltate davvero, o non hanno fatto le domande giuste. Hanno solo aggiunto qualche essere umano al loro studio per far sembrare che stessero facendo una vera ricerca, ma non hanno cambiato i loro metodi. Gli autori dicono che questo è pericoloso perché dà un falso senso di sicurezza. È come mettere un estintore finto sulla parete; sembra che siate preparati, ma se scoppia un incendio, non funzionerà.

Le Barriere: Perché Non Lo Fanno Semplicemente?

Potreste chiedervi: "Se tutti concordano che la ricerca umana è buona, perché non ne fanno di più?". L'articolo ha trovato tre grandi muri che li fermano:

1. Il Muro di Soldi e Tempo: Parlare con esseri umani reali è costoso e lento. Gli autori notano che una simulazione al computer può costare meno di 1.000 dollari. Ma uno studio serio con persone reali? Può costare 300.000 dollari o più. Inoltre, ci vogliono mesi per trovare le persone giuste, ottenere il permesso dai comitati etici e condurre i test. È come la differenza tra disegnare il disegno di una torta e cuocere effettivamente una torta gigante per una festa.
2. Il Muro del Mentore: Molti giovani ricercatori vogliono studiare persone reali, ma i loro capi (mentori) dicono di no. L'articolo condivide storie di studenti i cui supervisori dicevano: "Non farlo, non è scienza 'vera'", o "Limitatevi al codice". Questo rende i giovani scienziati timorosi di provare la ricerca umana perché pensano che questo possa danneggiare la loro carriera.
3. Il Muro dei "Dati Disordinati": I ricercatori tecnici spesso trovano i dati umani frustranti. Gli esseri umani non rispondono sempre alle domande allo stesso modo. Mentono, si stancano o dicono qualcosa di strano. Per un informatico che ama i numeri perfetti, questo sembra un bug nel sistema. Ma gli autori sostengono che questa "disordinevolezza" è in realtà la parte più importante dei dati perché è la vita reale.

Il Divario tra "Volere" e "Fare"

I ricercatori hanno intervistato 93 esperti e ne hanno intervistati 17 in profondità. Hanno trovato un enorme divario. Quasi tutti dicevano di voler fare più ricerca umana. Concordavano che fosse preziosa. Ma quando guardavano a ciò che le persone stavano effettivamente facendo, i numeri erano molto più bassi.

È come una palestra dove tutti dicono: "Voglio davvero rimettermi in forma e sollevare pesi", ma quando guardate l'attrezzatura, nessuno sta sollevando nulla. Stanno solo leggendo libri sui pesi. Il gruppo Tecnico era il meno propenso a sollevare i pesi; preferivano i libri (le simulazioni).

Cosa Dovremmo Fare?

L'articolo non si limita a indicare il problema; offre alcune idee per risolverlo:

• Smettere con l' "Human-Washing": Dobbiamo assicurarci che, quando includiamo gli essมนi, lo facciamo correttamente. Dobbiamo rispettare il loro tempo e ascoltare ciò che dicono, non usarli solo come una scenografia.
• Cambiare i Soldi: I gruppi che finanziano (coloro che erogano sovvenzioni) devono capire che la ricerca umana costa di più. Dovrebbero dare più fondi a questi progetti affinché non vengano schiacciati dall'alto costo.
• Mescolare i Team: Abbiamo bisogno di più team in cui i maghi del codice e gli esperti di persone lavorino insieme fin dall'inizio. Attualmente, spesso lavorano in stanze separate. Gli autori suggeriscono che se un ricercatore Tecnico vuole costruire un'IA sicura, deve parlare con un ricercatore Sociotecnico che capisca come si comportano realmente gli esseri umani.

In Conclusione

Questo articolo suggerisce che il campo della Sicurezza dell'IA è attualmente troppo concentrato su modelli informatici perfetti e troppo poco sul mondo reale e disordinato degli esseri umani. Sebbene le simulazioni siano utili, non possono sostituire la verità che deriva solo dal parlare con persone reali. Se vogliamo costruire un'IA che sia davvero sicura, dobbiamo smettere di trattare gli esseri umani come variabili in un'equazione matematica e iniziare a trattarli come gli esperti delle proprie vite.

Gli autori non stanno dicendo che le simulazioni siano brutte; stanno dicendo che fare affidamento solo sulle simulazioni è come cercare di imparare a nuotare leggendo un libro sull'acqua. Devi bagnarti. E in questo momento, la comunità della sicurezza dell'IA sta principalmente restando all'asciutto, leggendo i libri e sperando che l'acqua sia sicura.