Read, Critique, or Sketch? Investigating Alternative Visualization Literacy Assessment Modalities

Sintesi Tecnica: Leggere, Criticare o Disegnare? Investigare Modalità Alternative di Valutazione della Visual Literacy

Definizione del Problema
La visual literacy è un costrutto multifaccettato che coinvolge competenze di decodifica, costruzione e critica delle visualizzazioni. Tuttavia, le valutazioni esistenti (ad esempio, VLAT, Mini-VLAT, CALVI) sono prevalentemente in formato a scelta multipla e focalizzate su abilità di ordine inferiore, come la comprensione dei grafici e l'estrazione di fatti. Questi metodi quantitativi soffrono spesso di "effetti soffitto" (ceiling effects), dove anche individui con capacità modeste ottengono punteggi vicini al massimo, fallendo nel differenziare i vari livelli di competenza. Inoltre, mancano della sfumatura necessaria per valutare abilità di ordine superiore, come l'applicazione di conoscenze esterne, la formulazione di critiche e la progettazione di visualizzazioni da zero. Gli autori sostengono che, analogamente all'inclusione di saggi nei test standardizzati come l'SAT e il GRE per la alfabetizzazione testuale, la comunità della visualizzazione necessita di valutazioni qualitative non vincolate e focalizzate sulla creazione per valutare appieno l'intervallo delle abilità di visual literacy.

Metodologia
Gli autori hanno condotto uno studio utente entro i soggetti ($N=80$) per sviluppare e validare due nuove modalità di valutazione qualitativa: Sketching (Schizzo) e Critique (Critica).

• Partecipanti: Sono stati reclutati tre gruppi distinti che rappresentano diversi livelli di competenza:
  • Crowdworkers ($n=42$): Reclutati tramite Prolific, presumibilmente con una formazione formale minima in visualizzazione.
  • Studenti ($n=21$): Studenti universitari o laureati che hanno completato un corso di visualizzazione.
  • Esperti ($n=17$): Ricercatori di visualizzazione (titolati di dottorato o in grado di revisionare articoli di ricerca).
• Task di Valutazione:
  • Sketching: Ai partecipanti sono stati presentati cinque dataset diversificati (ad esempio, reti sociali, gerarchie di file, dati sulle precipitazioni) e veniva chiesto di "Disegnare una visualizzazione che ritieni rappresenti al meglio questi dati" pensando ad alta voce. Hanno utilizzato una tela basata sul web (TLDraw) con tracciamento della provenienza.
  • Critique: Ai partecipanti sono state mostrate tre visualizzazioni con difetti di progettazione intenzionali (ad esempio, un treemap 3D con una scala cromatica inappropriata, un grafico a linee con proiezioni di scala logaritmica fuorvianti e una mappa con un raggruppamento/binning scarso). Gli è stato chiesto di pensare ad alta voce e criticare le visualizzazioni.
  • Misure di Controllo: I partecipanti hanno inoltre completato valutazioni consolidate a scelta multipla: Mini-VLAT (comprensione) e CALVI (pensiero critico).
• Gradazione e Analisi:
  • Rubriche: Sono state sviluppate rubriche olistiche sia per le due modalità. La rubrica di Sketching valutava Progettazione/Gerarchia della Visualizzazione, Scelta della Codifica di Base, Validità Semantica e Guide/Testo. La rubrica di Critique valutava Lettura, Contestualizzazione e Giudizio. I punteggi variavano da "Nessuno" a "Eccellente" (scala a 5 punti).
  • Analisi Statistica: Gli autori hanno utilizzato la Teoria della Risposta all'Item Bayesiana (IRT) utilizzando un modello di regressione ordinale 2PL per stimare le abilità latenti e la discriminazione degli item. Hanno eseguito t-test di Welch per confrontare le medie dei gruppi e hanno calcolato le correlazioni di Pearson tra i punteggi di abilità latente delle quattro valutazioni.

Contributi Chiave

1. Nuove Modalità di Valutazione: Il paper introduce e valida due modalità di valutazione qualitative e aperte (Sketching e Critique) progettate per misurare abilità di visual literacy di ordine superiore che i test a scelta multipla non riescono a cogliere.
2. Rubriche Olistiche: Gli autori forniscono rubriche di valutazione olistiche dettagliate per valutare schizzi liberi e critiche "think-aloud", andando oltre la semplice correttezza per valutare la razionalità del design e il ragionamento.
3. Validazione Empirica: Attraverso uno studio comparativo con test stabiliti, gli autori dimostrano che queste modalità qualitative riescono a differenziare i livelli di competenza (crowdworkers, studenti, esperti) laddove i test tradizionali falliscono.

Risultati

• Differenziazione della Competenza: Le valutazioni di Sketching e Critique hanno mostrato una forte sensibilità alle differenze di competenza.
  • Sketching: Ha differenziato significativamente tra tutti e tre i gruppi (Esperti vs. Crowdworkers, Studenti vs. Crowdworkers, ed Esperti vs. Studenti).
  • Critique: Ha differenziato significativamente tra Esperti e Crowdworkers, ed Esperti e Studenti, sebbene la distinzione tra Studenti e Crowdworkers fosse meno pronunciata.
  • Confronto: Al contrario, il Mini-VLAT ha mostrato un forte effetto soffitto, senza differenze significative tra le coppie di gruppi. CALVI ha mostrato una certa differenziazione (Esperti vs. Crowdworkers), ma era meno sensibile rispetto alle misure qualitative.
• Discriminazione dell'Item: L'analisi IRT Bayesiana ha rivelato che gli item di Sketching e Critique avevano valori di discriminazione elevati (mediana ~1.92 per Critique, ~1.52 per Sketching), indicando che distinguono efficacemente tra i partecipanti di diversi livelli di abilità.
• Correlazione: Le valutazioni qualitative (Sketching e Critique) hanno mostrato una correlazione moderata tra loro ($r \approx 0.59$) e con CALVI ($r \approx 0.52-0.57$), ma una correlazione debole con Mini-VLAT ($r \approx 0.30$). Ciò suggerisce che, pur essendo correlate, queste valutazioni catturano set di abilità distinti.
• Osservazioni Qualitative:
  • I crowdworker esprimevano spesso frustrazione per lo sketching manuale e si affidavano a tipi di grafici familiari, ma spesso inappropriati (ad esempio, diagrammi a barre per ogni tipo di dato).
  • Gli esperti dimostravano scelte di design sfumate (ad esempio, evitare incroci di archi nei diagrammi node-link) e un ragionamento contestuale più profondo.
  • I crowdworker producevano spesso "critiche superficiali" focalizzate su regole basilari (ad esempio, "manca un titolo") piuttosto che su empatia di design o problemi di alfabetizzazione dei dati.

Significatività e Rivendicazioni
Gli autori sostengono che le valutazioni qualitative e multimodali siano un complemento promettente alle valutazioni esistenti della visual literacy, in particolare quando l'obiettivo è distinguere tra individui con formazione in visualizzazione e quelli senza. Sostengono che, mentre i test a scelta multipla sono efficienti per la comprensione di base, sono insufficienti per valutare le abilità di costruzione e critica essenziali per il lavoro avanzato nella visualizzazione.

Il paper posiziona modestamente questi strumenti non come un sostituto di tutti i test esistenti, ma come un'aggiunta necessaria al toolkit, specialmente per contesti che richiedono un'alta fedeltà nella differenziazione delle abilità (ad esempio, per selezionare i partecipanti per esperimenti che coinvolgono il design della visualizzazione). Gli autori riconoscono che l'aumento del carico di amministrazione e valutazione è un limite, ma suggeriscono che le intuizioni ottenute sulle abilità di ordine superiore giustifichino l'impegno. Notano inoltre che il lavoro futuro dovrebbe esplorare l'uso di modelli linguistici di grandi dimensioni (LLM) per la valutazione, pur mettendo in guardia riguardo alle attuali limitazioni nel gestire rubriche olistiche e il bias dialettale.