Position: Every Ground Truth is a Human Construction, not an Objective Truth

Sintesi Tecnica: Ogni Verità di Base è una Costruzione Umana, non una Verità Oggettiva

Problematica
Il documento affronta un malinteso fondamentale nella ricerca e nello sviluppo del machine learning (ML): il trattamento dei dataset di "verità di base" (ground truth) come misurazioni neutre, oggettive e preesistenti della realtà. Gli autori sostengono che le verità di base non sono fatti dati naturalmente, ma sono invece costruzioni umane derivanti da un complesso arrangiamento di decisioni, tecnologie e processi sociali. Questa svista porta alla "scatola nera" (black-boxing) di scelte critiche riguardanti le fonti dei dati, le ontologie di etichettatura e i metodi di osservazione. Di conseguenza, la comunità del ML spesso non riesce a riconoscere la contingenza (la natura del "poteva essere diversamente") di questi dataset, portando ad applicazioni di modelli inappropriate, alla sovrastima dell'accuratezza e a una mancanza di trasparenza riguardo ai limiti dell'affidabilità del modello. Il documento evidenzia che trattare le verità di base come verità universali ignora la loro natura situata, causando potenzialmente gravi impatti negativi quando i modelli vengono implementati in contesti diversi da quelli in cui i dati sono stati costruiti.

Metodologia e Quadro Analitico
Invece di proporre un nuovo metodo algoritmico o condurre un esperimento empirico specifico, questo documento impiega un quadro di analisi concettuale e critica radicato negli studi sulla scienza e la tecnologia (STS) e sul lavoro collaborativo supportato dal computer (CSCW). Gli autori:

1. Riforniscono il Concetto: Adottano la definizione di Jaton (2017) della pratica di definire problemi e obiettivi, spostando l'attenzione dalla "scoperta" alla "costruzione".
2. Categorizzano i Siti di Costruzione: Gli autori analizzano quattro distinti "siti di costruzione" dove vengono generate le verità di base per illustrare la variabilità del processo di costruzione:
   • Misurazione Diretta: Anche i dati basati su sensori implicano scelte riguardanti l'attrezzatura, il posizionamento, la tempistica e i metadati.
   • Interpretazione dell'Esperto: Le etichette degli esperti (ad esempio, nell'imaging medico) sono soggette a variabilità inter ed intra-esperto, negoziazione e al contesto specifico della formazione e dell'istituzione dell'esperto.
   • Consenso della Folla (Crowd Consensus): Le etichette derivanti dal crowd-sourcing coinvolgono metodi di aggregazione (ad esempio, il voto di maggioranza) che spesso oscurano la variazione umana delle etichette (HLV) e la soggettività culturale.
   • Dati Sintetici: Le simulazioni e l'IA generativa creano "verità note" che sono intrinsecamente fabbricate e dipendono dai parametri e dai modelli utilizzati per generarle.
3. Analizzano Comunicazione e Collaborazione: Il documento esamina la "costruzione del senso", sostenendo che le verità di base affidabili richiedono una comprensione condivisa e una negoziazione tra professionisti del ML, esperti di dominio e etichettatori, piuttosto che una semplice cattura di dati.

Contributi Chiave
Il documento apporta diversi contributi teorici e pratici al discorso sul ML:

• Spostamento Teorico: Postula che le verità di base siano "situate" e "contingenti", rifiutando la nozione di una singola e universale verità oggettiva. Introduce il concetto di "affidabilità situata", definita come un'affidabilità che è valida solo all'interno di un contesto specifico, piuttosto che come una metrica quantitativa generica.
• Decostruzione dell' "Oracolo" e del "Sensore": Gli autori mettono in discussione la visione degli esperti umani come oracoli infallibili o sensori neutrali, dimostrando che l'etichettatura dell'esperto è un processo sociale soggetto a negoziazione e incertezza.
• Identificazione dei Percorsi di Costruzione: Mappando i punti decisionali (ad esempio, chi definisce l'ontologia, come vengono effettuate le osservazioni, quali fonti vengono utilizzate), il documento fornisce un quadro per comprendere come diversi percorsi producano diverse verità di base per lo stesso compito.
• Critica delle Pratiche Attuali: Il documento critica la mancanza di un vocabolario standard e di documentazione per i limiti della verità di base, notando che le pratiche attuali spesso non riescono a catturare la provenienza e le scelte di costruzione che influenzano le prestazioni del modello.

Risultati e Conclusioni
Come articolo di posizione, il lavoro non presenta risultati sperimentali ma sintetizza la letteratura esistente e i casi di studio per dimostrare le conseguenze dell'ignorare la natura costruita delle verità di base:

• Deriva Contestuale: Il documento cita esempi in cui i dataset di riferimento (ad esempio, MNIST, UCI Adult) sono stati applicati ben oltre il loro contesto di costruzione originale, portando a conclusioni fuorvianti o cali di prestazioni (ad esempio, un calo del 47% nelle prestazioni di un modello MRI dovuto a un pre-processing non documentato).
• Impatto delle Scelte di Costruzione: Illustra come decisioni specifiche, come la riduzione della risoluzione dell'immagine in MNIST a causa dei limiti hardware degli anni '90, abbiano permanentemente limitato le capacità dei modelli successivi.
• La Variazione come Informazione: L'analisi suggerisce che la variazione delle etichette umane (HLV) sia spesso trattata come rumore da rimuovere, mentre dovrebbe essere riconosciuta come dato informativo che riflette la complessità del fenomeno modellato.
• Necessità Interdisciplinare: I risultati indicano che la creazione di verità di base affidabili richiede una collaborazione interdisciplinare, poiché i professionisti del ML spesso non sono in grado di interpretare le sfumature specifiche del dominio richieste per un'etichettatura accurata.

Significato e Rivendicazioni
Gli autori sostengono che riconoscere le verità di base come costruzioni umane è essenziale per migliorare l'affidabilità, la trasparenza e la responsabilità dei sistemi di ML.

• Affidabilità Migliorata: Adottando una prospettiva di "affidabilità situata", la comunità può comprendere meglio dove, quando e come i modelli possono essere utilizzati in sicurezza, prevenendo l'adozione acritica di soluzioni inadeguate.
• Trasparenza Accresciuta: "Unboxing" il processo di costruzione permette una migliore documentazione dei limiti, consentendo ai ricercatori di valutare la validità di un dataset per il loro caso d'uso specifico.
• Collaborazione Interdisciplinare: Riconoscere il lavoro sociale e tecnico coinvolto nella definizione della verità di base favorisce migliori partnership tra ricercatori di ML, esperti di dominio e scienziati sociali.
• Riforma Educativa: Il documento sostiene l'integrazione di riflessioni critiche sulla costruzione dei dati e sulla collaborazione interdisciplinare nell'educazione al ML per preparare i ricercatori alle complessità dei dati del mondo reale.

In definitiva, il documento chiama a un cambiamento di mentalità nella comunità del ML: passare dal vedere la raccolta dei dati come un'osservazione passiva dei fatti al vedere la raccolta dei dati come un processo attivo, intenzionale e collaborativo di costruzione dei dati. Questo spostamento è presentato non come un onere, ma come un passo necessario verso la creazione di sistemi di IA più robusti ed eticamente fondati.