Sintesi Tecnica: Il lavoro sui dati può essere riparativo?

Definizione del Problema

I sistemi di IA contemporanei si affidano pesantemente al "lavoro sui dati" umano per l'addestramento, il fine-tuning e la valutazione. Tuttavia, le modalità dominanti di produzione dei dati sono caratterizzate da un lavoro routinario e ripetitivo che tratta i lavoratori come attori intercambiabili, portando spesso a "problemi a cascata" nei dataset e rinforzando pratiche lavorative estrattive. Gli approcci attuali alla "IA Responsabile" e alle valutazioni di sicurezza spesso non affrontano i disequilibri di potere fondamentali e le ingiustizie epistemiche intrinseche nella produzione di dataset, in particolare per quanto riguarda le comunità marginalizzate e le lingue non inglesi. Esiste una lacuna critica nella comprensione di come il lavoro sui dati possa essere reorientato da sito di sfruttamento a sito di riparazione e risarcimento, affrontando specificamente la tensione tra ricompensa equa, governance collettiva e il riconoscimento dell'esperienza vissuta come conoscenza esperta.

Metodologia

Gli autori hanno condotto uno studio etnografico su Tattle Civic Tech, un'iniziativa di civic-tech con sede in India che costruisce dataset per l'addestramento e il benchmarking di sistemi di sicurezza online da una prospettiva femminista. La ricerca è stata condotta dalla lead author tra aprile e dicembre 2024 attraverso ricerca sul campo virtuale (Slack, incontri online, strumenti collaborativi) e partecipazione attiva.

Lo studio si è concentrato su due specifici progetti di dataset:

1. Un Dataset di Lessico di Insulti: Un'espansione di una lista di insulti di genere in quattro lingue indiane (hindi, tamil, malayalam e inglese indiano), che ha coinvolto 8–10 contributori per sessione in sessioni di annotazione collaborativa.
2. Un Dataset di Benchmark per la Sicurezza degli LLM: Un benchmark in hindi per i Large Language Models (LLM) focalizzato su "odio" e "crimini legati al sesso" (successivamente riformulato come "violenza sessuale"), finanziato da ML Commons. Questo ha coinvolto 23 contributori (assistenti sociali, attivisti, giornalisti, psicologi) partecipanti a sei workshop di 90 minuti.

La ricerca ha impiegato un approccio abduttivo per l'analisi dei dati, codificando iterativamente note di campo, interviste (12 in totale con i contributori e lo staff di Tattle) e materiali di progetto. L'analisi è stata inquadrata attraverso la lente della giustizia riparativa (attingendo al lavoro di Margaret Walker) e dei Science and Technology Studies (STS), concentrandosi su temi di cura, giustizia e partecipazione. Gli autori hanno mantenuto una posizionamento impegnato, collaborando con Tattle sui principi di compensazione e i modelli di governance, e condividendo le bozze con l'organizzazione per ricevere feedback.

Contributi Chiave

L'articolo apporta tre contributi primari alla dottrina critica sul lavoro sui dati e l'etica dell'IA:

1. Approfondimenti Empirici dal Sud del Mondo: Fornisce dati empirici dettagliati sulle sfide dello sviluppo di approcci alternativi al lavoro sui dati al di fuori dei contesti WEIRD (Western, Educated, Industrialized, Rich, and Democratic), estendendo la ricerca sulla IA Responsabile oltre il suo predominante focus.
2. Intreccio tra Giustizia Epistemica e del Lavoro: Dimostra che le preoccupazioni riguardanti il riconoscimento della conoscenza (giustizia epistemica) e le condizioni del lavoro (giustizia del lavoro) sono profondamente intrecciate. Lo studio sostiene che queste non possono essere affrontate isolatamente, sfidando la separazione tra "qualità dei dati" e "condizioni dei lavoratori".
3. La Giustizia Riparativa come Frame Analitico: Introduce la giustizia riparativa come una lente per reorientare il lavoro sui dati. Questo framework sposta il focus dal semplice fissare lacune tecniche nei dataset al resettare le relazioni di accountability, ponendo coloro che sono stati maggiormente danneggiati dall'incuria e dall'esclusione al centro del processo.

Risultati e Conclusioni

Lo studio identifica tensioni e sfide significative nell'operazionalizzare un approccio riparativo al lavoro sui dati:

• Ricompensa Equa e Compensazione: Tattle ha cercato di compensare i contributori con tariffe significativamente più alte rispetto agli standard del settore (circa 10 volte la tariffa industriale indiana) per riconoscere la loro competenza e la loro esperienza vissuta. Tuttavia, determinare una "ricompensa equa" rimane complesso a causa delle diverse condizioni materiali dei contributori (alcuni accademici, altri freelance) e della mancanza di precedenti industriali nel valorizzare l'esperienza vissuta "esperta" rispetto alla semplice annotazione. Gli enti finanziatori vedono spesso tali approcci come troppo costosi, limitandone la scalabilità.
• Governance Collettiva e Custodia: L'articolo evidenzia la difficoltà di stabilire una governance collettiva per i dataset. I contributori, pur essendo esperti nei loro domini, spesso consideravano il licensing delle piattaforme e l'uso commerciale come esterni alla loro competenza o davano priorità alla riduzione immediata del danno rispetto al controllo della governance a lungo termine. La natura transitoria del coinvolgimento dei contributori (partecipazione sporadica basata sui cicli di finanziamento) complica il processo decisionale collettivo sostenuto.
• Riformulazione di Danno e Sicurezza: I contributori hanno attivamente rimodellato i dataset, andando oltre la semplice annotazione per ridefinire l'ambito dei pericoli (ad esempio, riformulando "crimini legati al sesso" in "violenza sessuale" e aggiungendo "professione" come categoria per gli insulti). Ciò ha dimostrato che il lavoro sui dati può essere un sito per la riparazione concettuale, non solo per l'inserimento dati.
• I Limiti della Partecipazione: Sebbene Tattle abbia avuto successo nel ridurre le barriere alla partecipazione e nel favorire la discussione collaborativa, lo studio rivela che, senza affrontare le dinamiche di potere sottostanti su chi possiede i dati e chi ne beneficia, gli sforzi partecipativi rischiano di rimanere transazionali. I contributori spesso sentivano che l'interazione con le potenti piattaforme tecnologiche (anche gratuitamente) fosse una necessità piuttosto che una scelta, evidenziando una mancanza di leva negoziale.

Significato e Rivendicazioni

L'articolo sostiene che il lavoro di riparazione del lavoro sui dati risiede fondamentalmente nel resettare i legami di accountability tra i sistemi di IA, i dataset su cui si basano e gli esseri umani coinvolti nella loro produzione.

• Oltre i Fix Tecnici: Gli autori sostengono che includere semplicemente voci diverse nei dataset non costituisce riparazione se le relazioni strutturali di accountability rimangono invariate. La vera riparazione richiede l'istituzione di standard condivisi dove coloro che sono stati maggiormente danneggiati possano ritenere responsabili le aziende di IA.
• Interrompere le Norme: Una lente riparativa richiede di interrompere le norme prevalenti del lavoro sui dati per porre al centro coloro che sono stati maggiormente danneggiati dalla negligenza e dall'incuria, piuttosto che centrare l'IA o il dataset stesso.
• Una Visione di Responsabilità: L'articolo pone che, sebbene un modello pienamente realizzato possa sembrare difficile da raggiungere, il tentativo di operazionalizzarlo offre una "visione audace di responsabilità". Suggerisce che la lotta per definire una compensazione equa e una governance collettiva non è solo un ostacolo logistico, ma un atto politico necessario per reorientare la pratica dell'IA verso la giustizia.

Gli autori concludono che il loro lavoro non offre soluzioni politiche prescrittive, ma apre una linea di indagine cruciale su come "fare il lavoro sui dati diversamente", sottolineando che il percorso verso un'IA responsabile richiede di affrontare le domande fondamentali su come gli esseri umani si relazionano ai sistemi che aiutano a produrre.