Sintesi Tecnica: Sulla Definizione dei Danni da Cancellazione per l'NLP

Problema

L'implementazione di sistemi di Elaborazione del Linguaggio Naturale (NLP) ha sollevato preoccupazioni significative riguardanti i danni rappresentazionali, inclusi lo stereotipizzazione e il linguaggio tossico. Sebbene la "cancellazione" (erasure) sia stata riconosciuta come un tipo specifico di danno rappresentazionale, il campo manca attualmente di una base concettuale chiara e coesa per identificarla e misurarla. Le attuali concettualizzazioni della cancellazione soffrono di due limitazioni primarie:

1. Eccessiva ampiezza: Definizioni come "mancanza di rappresentazione adeguata" sono troppo vaghe per guidare i professionisti nel determinare cosa sia necessario per misurare la cancellazione.
2. Eccessiva specificità: Alcune definizioni sono sistematizzate per contesti particolari (ad esempio, l'etichettatura di immagini o le identità di genere non binarie), facilitando la misurazione in quei contesti specifici ma rendendo difficile l'adattamento ad altri contesti.

Inoltre, poiché costrutti come la "cancellazione" sono non osservabili, la loro presenza deve essere inferita dagli output osservabili del sistema. Senza una base concettuale coesa, gli strumenti di misurazione esistenti (metriche, benchmark) sono sempre più messi in discussione nella loro validità, e i risultati sono difficili da interpretare attraverso diversi contesti culturali o di implementazione.

Metodologia

Gli autori impiegano una metodologia basata sulla teoria della misurazione delle scienze sociali, attingendo specificamente al lavoro di Adcock e Collier (2001) e Wallach et al. (2025). Il processo prevede la distinzione tra un costrutto di sfondo (la costellazione ampia di significati associati a un concetto) e un costrutto sistematizzato (una riformulazione più stretta e dipendente dal contesto).

L'approccio degli autori consiste in tre fasi principali:

1. Evidenziazione dei componenti: È stato esaminato un campione mirato di letteratura sulla cancellazione in ambiti quali NLP, machine learning, comunicazione dei media, antropologia linguistica, sociologia, filosofia e diritto. Questa revisione ha identificato componenti ricorrenti nel modo in cui la cancellazione viene concettualizzata e ha rilevato elementi mancanti o impliciti.
2. Radicamento nell'NLP: Sono state condotte sessioni di discussione collaborativa per radicare questi componenti in compiti specifici dell'NLP (ad esempio, la sintesi del testo). Gli autori hanno deliberato se la cancellazione potesse essere stabilita in specifici output di sistema, considerando i vincoli del compito (ad esempio, un sistema di sintesi non dovrebbe essere colpevolizzato per l'omissione di informazioni non presenti nella fonte).
3. Sintesi e Connessione: I componenti identificati sono stati raggruppati per funzione e connessi in base alle loro interazioni per formare una definizione strutturata. Questa definizione è stata poi applicata come quadro analitico per esaminare nove articoli NLP esistenti che concettualizzano o operazionalizzano esplicitamente la cancellazione, facendo emergere tendenze e lacune nella letteratura attuale.

Contributi Chiave

L'articolo propone una definizione strutturata di cancellazione progettata per facilitare il processo di sistematizzazione — ovvero il passaggio da un ampio costrutto di sfondo a uno specifico e operazionalizzabile. La definizione identifica esplicitamente sei componenti determinanti che i professionisti devono specificare per stabilire se la cancellazione sia avvenuta in un dato contesto:

1. Target della Cancellazione: Chi o cosa si ritiene sia stato cancellato (ad esempio, identità specifiche, varietà linguistiche, argomenti o storie).
2. Oggetto di Analisi: Dove la cancellazione viene osservata (ad esempio, output di sistema, etichette di classificazione o testo generato).
3. Condizioni di Sfondo: I modelli sociali, storici o passati ritenuti indesiderabili da riprodurre. Questi formano la base normativa per l'analisi (ad esempio, i modelli storici di minimizzazione della violenza della polizia nei media).
4. Conoscenza di Base: La conoscenza o l'informazione che ci si aspetta sia riflessa nell'oggetto di analisi (ad esempio, il contenuto del documento sorgente in un compito di sintesi).
5. Alternativa: Una versione controfattuale o "migliore" dell'oggetto di analisi che contribuisce meno alla riproduzione delle condizioni di sfondo pur riflettendo la conoscenza di base.
6. De-enfasi: Il meccanismo attraverso il quale la cancellazione viene osservata nell'oggetto di analisi rispetto all'alternativa (ad esempio, rimozione di informazioni, offuscamento tramite la forma passiva o aggiunta errata di informazioni).

Gli autori definiscono formalmente la cancellazione come: "una de-enfasi di un target — dove questa de-enfasi avviene in un oggetto di analisi destinato a riflettere una certa conoscenza di base — rispetto a un'alternativa che riproduce meno un insieme di condizioni di sfondo rispetto all'oggetto di analisi."

Risultati e Analisi

Applicando questa definizione a nove articoli NLP esistenti, gli autori hanno identificato diversi schemi e lacune nelle attuali concettualizzazioni:

• Radicamento Contestuale: Alcuni lavori esistenti sono appropriatamente radicati in contesti specifici (ad esempio, identità non binarie o cancellazione culturale), ma l'adattamento acritico di questi a nuovi contesti senza riespecificare i sei componenti può minacciare la validità.
• Dipendenza Distribuzionale: Molte operazionalizzazioni esistenti si affidano all'osservazione di schemi sistematici o differenze (visioni distribuzionali) piuttosto che a singoli casi. Ciò accade spesso quando le condizioni di sfondo sono underspecificate, costringendo i professionisti a inferire schemi dagli output di sistema.
• Sottospecificazione delle Condizioni di Sfondo: Sebbene molti lavori riconoscano che la cancellazione rafforzi le strutture di potere o le asimmetrie storiche, spesso non specificano gli entità o i modelli esatti coinvolti. Ciò rende difficile giustificare perché una specifica operazionalizzazione (ad esempio, il corrispondere alle statistiche della popolazione) sia appropriata.
• Mancanza di Alternative Esplicite: Il lavoro esistente raramente articola esplicitamente "migliori" alternative. I professionisti devono spesso inferire quale sarebbe un comportamento preferibile del sistema, il che ostacola lo sviluppo di metriche e strategie di mitigazione precise.
• Vincoli della Conoscenza di Base: Nei compiti con una conoscenza di base non vincolata (ad esempio, generazione di persona), è difficile stabilire se un insieme generato sia rappresentativo. Gli autori suggeriscono che i lavori futuri potrebbero concentrarsi su compiti con una conoscenza di base più vincolata (ad esempio, traduzione automatica) per isolare meglio la cancellazione.

Significato e Rivendicazioni

L'articolo sostiene che il suo contributo primario sia fornire una base per i professionisti per sistematizzare il costrutto della cancellazione. Clarificando i componenti necessari (Target, Oggetto, Condizioni di Sfondo, Conoscenza di Base, Alternativa, De-enfasi), la definizione consente ai professionisti di:

• Articolare esplicitamente e operazionalizzare la cancellazione nei loro specifici contesti d'uso e preoccupazioni normative.
• Sviluppare strumenti di misurazione validi (metriche, benchmark) che siano radicati in chiare concettualizzazioni.
• Mappare e analizzare le attuali concettualizzazioni della cancellazione per identificare tendenze e lacune.

Gli autori sottolineano che questo lavoro non pretende di risolvere la questione della cancellazione o di fornire una singola metrica universale. Inveve, offre un quadro per facilitare il processo di sistematizzazione, permettendo la creazione di definizioni contestuali che siano abbastanza rigorose da supportare una misurazione valida e un'interpretazione significativa dei risultati. L'articolo nota inoltre i limiti, riconoscendo che la cancellazione può verificarsi nei processi di progettazione e distribuzione del sistema, non solo negli output, e che la definizione proposta si concentra attualmente su questi ultimi.