SAFE-Cascade: Cost-Adaptive Vision-Language Routing for Chart Question Answering

Riepilogo Tecnico: SAFE-Cascade

Definizione del Problema
I modelli visione-linguaggio (VLM) hanno dimostrato forti capacità nel ChartQA (risposta a domande su grafici), tuttavia l'invocazione di un intero VLM per ogni query è spesso computazionalmente costosa e non necessaria. Molte domande sui grafici possono essere risolte utilizzando l'estrazione del testo tramite OCR (Optical Character Recognition) combinata con un ragionamento linguistico leggero, senza richiedere un profondo grounding visivo. Il problema centrale affrontato è come instradare dinamicamente le query tra un percorso basato solo sul testo a basso costo e un percorso VLM ad alto costo, per ottimizzare i costi di inferenza mantenendo l'accuratezza della risposta.

Metodologia
SAFE-Cascade è un sistema interattivo e adattivo ai costi, progettato per instradare le query di Chart QA in base alla necessità stimata di inferenza visiva. Il sistema opera attraverso una pipeline a quattro stadi:

1. Estrazione OCR: Al ricevimento di un'immagine di un grafico e di una domanda in linguaggio naturale, il sistema estrae prima testo, frammenti di layout e token utilizzando Azure Document Intelligence.
2. Risposta Solo-Testo: Un modello linguistico basato solo sul testo (specificamente gpt-5-mini) elabora la domanda e il testo OCR estratto per generare una risposta provvisoria.
3. Routing Appreso: Un classificatore Random Forest funge da router. Esso analizza le caratteristiche durante l'inferenza — inclusi lunghezza/densità dell'OCR, lunghezza della domanda, flag numerici/di confronto, sovrapposizione domanda-OCR, lunghezza della risposta testuale e indicatori di risposte sconosciute o vuote — per stimare una probabilità di escalation ($p_{esc}$).
4. Escalation Condizionale: Se $p_{esc}$ supera una soglia configurabile ($\theta$), il sistema scala la query a un VLM (specificamente gemini-2.5-flash-image) che elabora l'immagine originale e la domanda. Altrimenti, la risposta solo-testo viene accettata come definitiva.

Il sistema è implementato come un servizio modulare con un'interfaccia Streamlit trasparente. Espone l'intero processo decisionale all'utente, visualizzando l'evidenza OCR, la risposta provvisoria testuale, la probabilità di routing, la decisione finale e i costi/latenza stimati.

Contributi Chiave
Il documento delinea quattro contributi primari:

• Sistema Chart QA Adattivo ai Costi: Un'architettura innovativa che instrada selettivamente tra il ragionamento OCR-più-testo e il ragionamento VLM completo, invece di ricorrere di default a quest'ultimo.
• Interfaccia di Routing Trasparente: A differenza del routing "black box", SAFE-Cascade visualizza l'evidenza (frammenti OCR), la risposta provvisoria, la confidenza del router e l'esito finale, permettendo agli utenti di ispezionare perché un percorso visivo sia stato o meno invocato.
• Frontiera Operativa Interattiva: Il sistema include uno slider di soglia che consente agli utenti di esplorare interattivamente il compromesso tra accuratezza e costo (tasso di invocazione VLM) in tempo reale.
• Validazione su Dati Non Visti (Held-Out): Il sistema è validato su un set di test separato del benchmark ChartQA, dimostrando che il routing appreso può eguagliare le prestazioni del full-VLM riducendo significativamente le chiamate al VLM.

Risultati
Valutato su un set di test separato di 375 esempi dal dataset ChartQA-2500:

• Accuratezza: SAFE-Cascade (con soglia $\theta=0.3$) ha raggiunto un'accuratezza unificata del 69,1%. Questo è statisticamente comparabile alla baseline full-VLM, che ha raggiunto il 67,7% di accuratezza (gli intervalli di confidenza si sovrappongono).
• Efficienza: Il sistema ha ridotto l'invocazione del VLM del 26,9% (dal 100% al 73,1%) e ha ridotto i costi di inferenza stimati del 9,3% rispetto alla baseline full-VLM.
• Prestazioni del Router: Il router ha ottenuto un F1 score di escalation dell'84,2%, con un recall dell'87,4% e una precisione dell'81,3%. Il principale scenario di fallimento identificato è stato la "mancata escalation" (5,9%), in cui il sistema ha accettato una risposta testuale errata che il VLM avrebbe corretto.
• Sensibilità della Soglia: Uno sweep della soglia ha rivelato che abbassando la soglia aumenta l'uso del VLM e si preserva l'accuratezza, mentre alzandola si riducono i costi ma aumenta significativamente il tasso di mancate escalation (ad esempio, a $\theta=0.7$, le mancate escalation salgono al 27,2%).

Significatività e Rivendicazioni
Gli autori posizionano SAFE-Cascade non semplicemente come un miglioramento delle prestazioni rispetto ai modelli esistenti, ma come un framework trasparente e regolabile per l'inferenza multimodale. Il documento afferma che il sistema dimostra con successo come il routing selettivo della modalità possa rendere i sistemi di conoscenza più consapevoli dei costi e interpretabili.

Gli autori presentano i loro risultati con modestia: non rivendicano un miglioramento statisticamente significativo dell'accuratezza rispetto alla baseline full-VLM. Al contrario, interpretano il sistema come capace di eguagliare le prestazioni del full-VLM pur ottenendo sostanziali riduzioni dei costi. La significatività risiede nella capacità di esporre la "frontiera costo-accuratezza" agli utenti, consentendo ai professionisti di regolare il comportamento del sistema in base a specifici vincoli di budget o latenza. Il lavoro evidenzia che il guadagno primario deriva dall'apprendere quando il percorso testuale è insufficiente, piuttosto che dal semplice aggiungere l'OCR o utilizzare regole euristiche.

Limitazioni
Il documento riconosce diverse limitazioni: la validazione è attualmente limitata al dataset ChartQA; i valori di latenza sono stime piuttosto che tempi di produzione misurati; il router è sequenziale (post-testo) anziché speculativo; e le stime dei costi si basano su prezzi configurati piuttosto che sulla fatturazione effettiva. Il lavoro futuro suggerisce la validazione cross-dominio (ad esempio, DocVQA) e l'esplorazione di strategie di pre-routing o di esecuzione parallela.