Living with Algorithms: Human-AI Assemblages and Ethical Governance in West African Pastoral Conflict

Il quadro generale: Quando i computer provano a gestire il villaggio

Immaginate un gruppo di vicini che vivono insieme da secoli. Hanno un insieme complesso e non scritto di regole per la condivisione dell'acqua, dei pascoli e per la risoluzione delle controversie. È un sistema basato su sussurri, strette di mano e sulla conoscenza esatta di chi deve un favore a chi. È disordinato, flessibile e profondamente umano.

Ora, immaginate che arrivi un team di esperti tecnologici e dica: "Abbiamo un programma per computer super intelligente che può risolvere tutti i vostri problemi più velocemente e in modo più equo rispetto ai vostri vecchi metodi". Installano telecamere, scanner biometrici per l'identificazione e un'IA che prevede dove scoppieranno i litigi.

Questo articolo si chiede: Questo computer rende davvero le cose migliori, o rompe il delicato tessuto sociale che mantiene la pace?

I ricercatori hanno studiato esattamente questa situazione in due luoghi: lo Stato di Plateau in Nigeria e la Regione di Tillabéri in Niger. Queste sono zone in cui agricoltori e pastori spesso entrano in conflitto per la terra e le risorse.

La scoperta principale: Il "Gap di Legittimità"

Lo studio ha riscontrato un paradosso strano. I computer erano effettivamente buoni nel loro compito tecnico. Erano più veloci nell'inviare avvisi e migliori nel individuare schemi rispetto ai vecchi sistemi umani.

Ma, la gente che viveva lì non si fidava di loro.

Pensateci come a un GPS che vi dà la rotta più veloce ma vi fa passare attraverso il salotto del vostro vicino. Il GPS è tecnicamente "corretto" (è il percorso più veloce), ma non lo usereste perché viola le norme sociali e fa arrabbiare i vostri vicini.

Il documento chiama questo il "Gap di Legittimità". Il sistema era efficiente (veloce), ma mancava di legittimità (non era visto come giusto o corretto dalla comunità). Quando le persone non si fidano del sistema, smettono di cooperare e il sistema, alla fine, smette di funzionare.

Tre modi in cui il sistema è entrato in crisi

I ricercatori hanno scoperto tre modi specifici in cui il sistema "intelligente" si è scontrato con la vita "reale":

1. Il problema della "Carta d'Identità Rigida"

• La Tecnologia: Il sistema utilizzava carte d'identità biometriche per identificare le persone. Se eri un pastore, la carta diceva "Pastore". Se eri un agricoltore, diceva "Agricoltore".
• La Realtà: In queste comunità, le identità sono fluide. Un uomo può allevare bestiame durante la stagione secca e coltivare campi durante quella umida. Può essere in parte Fulani e in parte Berom.
• L'Analogia: Immaginate una biblioteca che vi permette di prendere in prestito libri solo se la vostra carta d'identità dice "Lettore di narrativa". Se volete prendere in prestito un libro di cucina, il computer dice: "No, la tua carta dice Narrativa". Non capisce che siete persone intere con molti interessi.
• Il Risultato: Il computer ha etichettato erroneamente le persone, portando a decisioni ingiuste su chi ricevesse aiuto e chi no.

2. Il problema del "Giocare con il Sistema"

• La Tecnologia: L'IA prevedeva i conflitti basandosi su dati come la dimensione delle mandrie e i movimenti.
• La Realtà: La gente si è resa conto che il computer stava osservando. Così, hanno iniziato a imbrogliare.
• L'Analogia: È come uno studente che sa che l'insegnante valuta in base alla curva della classe. Invece di studiare, lo studente capisce esattamente quali domande l'insegnante preferisce porre e studia solo quelle.
• Il Risultato: I pastori hanno iniziato a nascondere i collari GPS di notte o a mentire sul numero di mucche che possedevano. Questo "gioco" ha reso i dati del computer sporchi e meno accurati nel tempo. Il sistema è diventato più stupido perché le persone cercavano attivamente di superarlo.

3. Il problema della "Ribellione Silenziosa"

• La Tecnologia: L'IA utilizzava un "punteggio di rischio" (una mappa a colori) per decidare chi ricevesse aiuti di emergenza. Se la pioggia tardava, il computer diceva: "È troppo rischioso seminare; nessun aiuto per te".
• La Realtà: Gli agricoltori sapevano che il computer sbagliava perché conoscevano le stagioni locali meglio del satellite. Invece di discutere con il computer, lo ignoravano e basta.
• L'Analogia: Immaginate un genitore severo che dice: "Se piove, non puoi uscire". I bambini sanno che è solo un debole acquazzone, quindi escono comunque e fingono di nulla.
• Il Risultato: Il computer pensava che tutto fosse sotto controllo (perché nessuno segnalava la semina), ma in realtà gli agricoltori stavano lavorando duramente. Il computer era cieco alla verità perché le persone si rifiutavano di seguire le sue regole rigide.

La Soluzione: Il "Tribunale Ibrido Umano-IA"

Il documento sostiene che non possiamo limitarci a correggere il codice. Dobbiamo cambiare il modo in cui il computer e gli esseri umani lavorano insieme. Propongono un nuovo sistema chiamato "Assemblaggio Umano-IA".

Non pensate a questo come a un giudice robotico, ma come a un sistema di co-pilota.

Hanno testato una soluzione in tre fasi:

1. Soglie Partecipative (Stabilire le regole insieme):
   Invece di lasciare che l'azienda tecnologica decida cosa costituisce una "zona di pericolo", hanno organizzato un workshop con agricoltori, pastori e leader locali. Hanno regolato insieme la sensibilità del computer.

• Risultato: Hanno ridotto i falsi allarmi del 50% perché i locali sapevano che il computer era troppo paranoico.

2. Audit Pubblici sui Bias (Controllare la pagella):
   Ogni pochi mesi, controllavano pubblicamente se il computer trattava in modo equo i diversi gruppi. Se il computer negava gli aiuti ai pastori il 18% in più rispetto agli agricoli, lo segnalavano immediatamente.

• Risultato: Questo ha costretto il sistema a correggere i propri errori prima che causassero troppi danni.

3. Tribunali Ibridi (Il Superamento Umano):
   Hanno creato un tribunale locale composto da agricoltori ed eletti, pastori ed un esperto tecnologico. Se il computer diceva "Niente Aiuto", questo gruppo poteva dire: "Aspetta, sappiamo che questa famiglia è in difficoltà. Sovrascrivi il comando del computer".

• Risultato: Le persone hanno ricominciato a fidarsi del sistema perché sapevano che un essere umano poteva correggere un errore del computer. La cooperazione è passata dal 58% al 79%.

La "Frontiera della Formalizzazione"

Il documento introduce un concetto interessante: la "Frontiera della Formalizzazione".

Immaginate di cercare di scrivere la ricetta per uno stufato perfetto.

• 0% a 55%: Scrivete gli ingredienti e il tempo di cottura. Questo aiuta molto.
• 55%: Vi scontrate con un muro. Se cercate di scrivere ogni minimo dettaglio (l'umore esatto dello chef, l'umidità in cucina, la marca specifica del sale), la ricetta diventa inutile. È troppo rigida.

I ricercatori hanno scoperto che una volta che si cerca di trasformare più del 55% della vita locale in dati rigidi, il sistema inizia a perdere la fiducia. Non si può codificare perfettamente la flessibilità umana.

Conclusione

Il documento conclude che non è possibile avere un sistema di IA di successo senza fiducia.

• Vecchio Modo: Costruire un computer più veloce e intelligente e sperare che la gente lo usi.
• Nuovo Modo: Costruire un sistema in cui il computer sia uno strumento, ma gli esseri umani siano i capi. Il computer fornisce i dati, ma gli umani forniscono il giudizio, l'equità e il contesto.

Lo studio dimostra che il 63% del successo del sistema dipende dalla "Legittimità Etica" (la fiducia delle persone), non solo dalla velocità con cui il computer calcola. Se ignorate l'elemento umano, il computer finirà per essere ignorato dagli esseri umani.