Whose Knowledge Counts? Co-Designing Community-Centered AI Auditing Tools with Educators in Hawai`i

1. Il Problema

L'articolo affronta le sfide critiche legate al dispiegamento di sistemi di Intelligenza Artificiale Generativa (GenAI) negli ambienti educativi, con un focus specifico sulle comunità indigene e le lingue a risorse limitate.

• Bias Culturale e Rappresentazione: I modelli di linguaggio (LLM) tendono a riprodurre e amplificare narrazioni occidentali dominanti, portando a rappresentazioni culturali inaccurate, stereotipi e all'omissione di prospettive indigene. Un esempio citato è la rappresentazione "sanitizzata" di Capitano Cook, che ignora i danni coloniali subiti dalle comunità hawaiane.
• Limiti degli Approcci Top-Down: Le soluzioni imposte dai fornitori di modelli (approcci dall'alto verso il basso) sono spesso inefficaci a causa di barriere istituzionali e della mancanza di comprensione delle sfumature culturali locali.
• Mancanza di Strumenti per gli Utenti Finali: Sebbene gli educatori siano consapevoli di questi rischi, mancano di tempo, formazione e strumenti tecnici per auditare sistematicamente i contenuti generati dall'AI. Le soluzioni esistenti per l'audit degli utenti finali sono spesso troppo generiche e non tengono conto delle epistemologie locali (i modi specifici in cui una comunità genera e valida la conoscenza).
• Contesto Specifico: In Hawai'i, le scuole pubbliche hanno un mandato statale per integrare la lingua e la cultura hawaiana ('Ōlelo Hawai'i) nel curriculum. L'uso di GenAI in questo contesto crea una tensione tra l'efficienza pedagogica e il rischio di distorsioni culturali che potrebbero erodere l'identità indigena.

2. Metodologia

Lo studio adotta un approccio di ricerca basata sulla comunità e co-progettazione (co-design), situato a O'ahu, Hawai'i.

• Partecipanti: 22 educatori delle scuole pubbliche (in gran parte insegnanti di scuola elementare), inclusi membri della comunità Kanaka Maoli (nativi hawaiani) e Kama'āina (locali).
• Setting: Quattro workshop di co-design di un'ora ciascuno, tenuti in due scuole elementari pubbliche.
• Struttura dei Workshop:
  1. Presentazione e Condivisione: Discussione sull'uso attuale della GenAI in classe.
  2. Riflessione sui Danni: Identificazione di casi di rappresentazione culturale errata o bias.
  3. Design Probes: I partecipanti hanno analizzato output reali generati da ChatGPT e Gemini (es. domande di matematica basate su stereotipi come la "raccolta dell'ananas", conversazioni con figure storiche come Capitano Cook, generazione di immagini di aule o oggetti culturali).
  4. Esercizi di Progettazione: Due modalità diverse:
     • Rapid Prototyping: Ideazione rapida di strumenti per identificare output problematici.
     • Storyboarding: Sviluppo di scenari dettagliati su come gli strumenti di audit funzionerebbero in pratica.
• Analisi: Analisi tematica induttiva e riflessiva delle trascrizioni e dei manufatti di design (schizzi e storyboard), condotta da un team di ricerca che include membri indigeni e non, per garantire una prospettiva equilibrata e rispettosa.

3. Contributi Chiave

Il paper offre tre principali contributi teorici e pratici:

1. Dimensioni della Rappresentazione Culturale Errata: Identificazione di cinque categorie specifiche di danni riscontrati dagli educatori hawaiani:
   • Output allucinati o fattualmente errati (es. confusione tra diverse mo'olelo o storie tradizionali).
   • Rappresentazioni superficiali della cultura (es. uso di ananas invece di kalo (taro), ignorando il significato coloniale dell'ananas).
   • Dominanza di narrazioni occidentali (omissione di prospettive indigene come quella della Regina Lili'uokalani).
   • Mancanza di diversità (sovra-rappresentazione di un'unica etnia polinesiana, ignorando la multiculturalità reale di Hawai'i).
   • Frammentazione della cultura come "storica" piuttosto che "vivente" (rappresentazione di pratiche culturali come relitti del passato).
2. Linee Guida per Strumenti di Audit Comunitari: Proposta di un cambio di paradigma: l'audit non deve essere un compito individuale, ma un processo orientato alla comunità.
3. Raccomandazioni di Design: Tre principi fondamentali per progettare strumenti di audit in contesti indigeni:
   • Determinare chi partecipa come auditor (riconoscendo le asimmetrie di competenza culturale).
   • Sviluppare infrastrutture che incorporino i valori comunitari (es. sovranità dei dati).
   • Riorientare gli obiettivi dell'audit (dalla correzione del modello al beneficio educativo della comunità).

4. Risultati e Proposte di Design

Dai workshop sono emerse tre funzionalità principali per gli strumenti di audit, profondamente radicate nei valori hawaiani:

• Tracciamento della Genealogia delle Fonti (Source Genealogy):

  • Concetto: Invece di una semplice citazione bibliografica, gli educatori richiedono di tracciare la "genealogia della conoscenza": chi è l'autore, chi è stato il suo insegnante (kumu) e qual è la sua linea di trasmissione.
  • Motivazione: Nella cultura hawaiana, l'autorità di una conoscenza dipende dalla sua provenienza e dalla relazione con i maestri, non solo dal contenuto testuale.
  • Design: Uno strumento che visualizza la catena di trasmissione della conoscenza per verificare l'affidabilità culturale.

• Visualizzazione delle Prospettive (Perspective Visualization):

  • Concetto: Uno strumento che mostri quali prospettive sono presenti e, crucialmente, quali sono mancanti in un output.
  • Design: Una visualizzazione che indichi se un testo riflette solo la narrazione coloniale o se include voci indigene, permettendo agli utenti di vedere le omissioni storiche.

• Segnalazione di Output Problematici (Flagging):

  • Concetto: Un sistema di segnalazione non solo per gli educatori, ma anche per gli studenti, utilizzato come strumento pedagogico.
  • Design: Segnali visivi chiari che invitano gli studenti a interrogare l'output, identificare bias e sviluppare pensiero critico, trasformando l'audit in un esercizio di apprendimento.

Vignetta di Design (Sistema Esempio):
Gli autori propongono un'estensione del browser che permette di:

1. Ispezionare le fonti e la genealogia della conoscenza dietro un output.
2. Segnalare contenuti problematici in un database condiviso e localmente ospitato (per garantire la sovranità dei dati).
3. Collegare le segnalazioni a esperti verificati della comunità per validare le interpretazioni.
4. Consentire agli studenti di partecipare attivamente al processo di audit.

5. Significato e Implicazioni

Questo lavoro ha un significato profondo per il campo dell'HCI (Human-Computer Interaction) e dell'etica dell'AI:

• Decolonialità nel Design: Il paper sfida l'approccio "taglia unica" (one-size-fits-all) degli strumenti di audit. Dimostra che gli strumenti tecnici devono essere radicati nelle epistemologie locali (i modi di conoscere specifici di una cultura) per essere efficaci.
• Sovranità dei Dati Indigeni: Evidenzia la necessità di evitare l'estrazione di dati culturali per addestrare modelli AI senza restituire benefici alla comunità. Gli strumenti di audit devono essere controllati e ospitati localmente dalla comunità.
• Audit come Pratica Educativa: Sposta il focus dall'audit come mera attività tecnica di correzione degli errori a un processo educativo che costruisce capacità critiche negli studenti e negli insegnanti.
• Riflessione Etica: Gli autori concludono che la decisione di costruire o meno uno strumento deve basarsi sulla sostenibilità a lungo termine e sul beneficio reale per la comunità, piuttosto che sulla semplice fattibilità tecnica o sul successo accademico.

In sintesi, il paper dimostra che per integrare l'AI in contesti culturali sensibili, è necessario passare da un audit individuale e tecnico a un audit comunitario, partecipativo e culturalmente situato, dove la "conoscenza che conta" è quella definita e validata dalla comunità stessa.