Benchmarks for Vision-Language Models in Urban Perception Should Be Reliability-Aware and Negotiated

Sintesi Tecnica: Benchmarking Consapevole dell'Affidabilità e Negoziato per i VLM di Percezione Urbana

Definizione del Problema
I modelli vision-language (VLM) sono sempre più impiegati per generare descrizioni strutturate di immagini a livello stradale per compiti di governance urbana, come l'audit del paesaggio urbano e la consultazione pubblica. Questi compiti richiedono spesso di combinare attributi fisici osservabili con categorie di valutazione soggettiva (ad esempio, comfort, sicurezza, inclusività). Sorge un problema critico di valutazione poiché il "ground truth" per queste valutazioni non è un'etichetta stabile, ma una distribuzione di giudizi umani caratterizzata da disaccordo, astensione e pluralità.

Le attuali pratiche di benchmarking tendono a collassare questi giudizi pluralistici in un'unica etichetta, trattando il disaccordo come un errore di annotazione. Questo approccio oscura l'incertezza sistematica e rende l'accuratezza del modello dipendente dalla specifica popolazione di etichettatori e dalla semantica dell'astensione. Il documento sostiene che, per domini in cui gli output dei modelli informano le decisioni istituzionali, il benchmarking deve trattare il disaccordo e l'astensione come segnali informativi piuttosto che come rumore, e deve trattare gli spazi delle etichette come artefatti negoziabili soggetti a revisione da parte delle comunità interessate.

Metodologia
Il documento fonda la sua argomentazione in un nuovo benchmark empirico e in un protocollo di valutazione deterministico zero-shot.

• Dataset: Il benchmark consiste in 100 scene a livello stradale di Montreal, organizzate in dieci pannelli. Il dataset è bilanciato tra 50 render sintetici fotorealistici e 50 fotografie.
• Annotazione: Dodici partecipanti provenienti da sette organizzazioni comunitarie hanno annotato le immagini attraverso 30 dimensioni. Queste dimensioni spaziano da impostazioni oggettive (es. vegetazione, forma costruita) a valutazioni soggettive (es. impressione generale, sicurezza).
  • Protocollo: Le annotazioni sono state raccolte in francese. Lo studio distingue esplicitamente tra "assenza osservata" (es. "Nessun albero") e "astensione" (es. "Non applicabile" o "Non è possibile giudicare").
  • Consenso: È stata applicata una mappatura deterministica francese-inglese. Per le dimensioni multi-label, è stato formato un set di consenso rigido mantenendo le opzioni selezionate da almeno il 50% degli annotatori. Per le dimensioni a scelta singola, è stato utilizzato il voto di maggioranza, con i paremoli esatti segnalati come "incerto" ed esclusi dai calcoli di accuratezza.
• Modelli: Sette VLM sono stati valutati in un contesto zero-shot senza fine-tuning specifico per il compito: claude-sonnet, openai-o4-mini, gpt-4.1, gemini-2.5-pro, grok-2-vision, qwen2.5-vl, e llama-4-maverick.
• Metriche di Valutazione:
  • Allineamento del Modello: Accuratezza per gli elementi a scelta singola e indice di Jaccard per gli elementi multi-label rispetto al consenso umano.
  • Affidabilità Umana: L'affidabilità inter-annotatore è stata calcolata per dimensione utilizzando l'alfa di Krippendorff (distanza nominale).
  • Analisi: Lo studio ha analizzato la correlazione tra l'affidabilità umana e l'allineamento del modello, ha confrontato le prestazioni su dimensioni osservabili rispetto a quelle di valutazione e ha esaminato i mismatch distribuzionali nei tassi di astensione.

Risultati Chiave

1. Correlazione con l'Affidabilità: Esiste una covariazione positiva tra l'affidabilità inter-annotatore umana e l'allineamento del modello. Le dimensioni con un maggiore accordo umano tendono a produrre un maggiore accordo del modello. Le dimensioni con bassa affidabilità umana mostrano spesso un'alta varianza nelle prestazioni del modello, suggerendo che i punteggi del modello su queste dimensioni possano riflettere i priori del modello piuttosto che evidenze visive recuperabili.
2. Osservabile vs Valutazione: I modelli raggiungono generalmente punteggi macro più elevati sulle dimensioni vicine agli attributi osservabili (es. strutture fisiche) rispetto alle dimensioni di valutazione (es. "Impressione Generale").
3. Mismatch Distribuzionale: Per la dimensione "Impressione Generale", i modelli e gli annotatori mostrano significativi mismatch distribuzionali. Nello specifico, i modelli selezionano "Non applicabile" con frequenze più elevate rispetto agli annotatori umani, mentre gli annotatori utilizzano più frequentemente "Non è possibile giudicare". Ciò indica una divergenza nel modo in cui modelli e umani interpretano l'incertezza e la semantica dell'astensione.
4. Effetti della Sorgente: I modelli hanno ottenuto un maggiore accordo con il consenso umano sulle fotografie rispetto ai render sintetici, evidenziando uno shift di dominio relativo ad artefatti di generazione, texture e illuminazione.

Contributi Chiave

• Benchmarking Consapevole dell'Affidabilità: Il documento propone un framework in cui i report dei benchmark devono includere l'affidabilità inter-annotatore insieme ai punteggi del modello. Ciò consente agli stakeholder di distinguere tra il fallimento del modello e l'instabilità intrinseca del concetto target.
• Benchmarking Negoziato: Introduce il concetto di benchmark come "artefatti negoziati". Invece di trattare gli spazi delle etichette come fissi, il documento sostiene procedure in cui le comunità colpite possono contestare e rivedere definizioni, regole di punteggio e politiche di astensione.
• Ancora Empirica: Fornisce un dataset concreto, annotato dalla comunità, e un protocollo di valutazione che rende il disaccordo e l'astensione osservabili, fungendo da banco di prova per queste rivendicazioni metodologiche.
• Standard di Trasparenza: Il documento delinea un set di disclosure (Tabella 1) per i creatori di benchmark, inclusi dettagli sulle specifiche delle etichette, sulla raccolta dei giudizi, sui report di affidabilità e sui record di revisione, per rendere visibili le assunzioni.

Significato e Rivendicazioni
Il documento sostiene che, per i VLM utilizzati nella governance urbana, trattare gli obiettivi di valutazione come ground truth stabili è un fallimento metodologico che può portare a conclusioni fuorvianti sul progresso del modello e sul rischio di implementazione. Trattando il disaccordo e l'astensione come risultati anziché come errori, l'approccio proposto rende visibile l'incertezza.

Il significato risiede nello spostare il focus dal massimizzare un singolo punteggio di accuratezza alla comprensione delle condizioni in cui avviene l'allineamento. Gli autori sostengono che il benchmarking consapevole dell'affidabilità e negoziato non migliora semplicemente le metriche di valutazione, ma funge da meccanismo di governance. Esso consente la revisione delle categorie contestate e garantisce che gli output dei modelli utilizzati per decisioni istituzionali rimangano aperti alla contestazione e alla responsabilità. Il documento conclude che la qualità del benchmark per gli obiettivi di valutazione dipende tanto dalle assunzioni trasparenti e dai meccanismi di revisione quanto dal design statistico.