Winner Team Mia at TextVQA Challenge 2021: Vision-and-Language Representation Learning with Pre-trained Sequence-to-Sequence Model

Riassunto Tecnico: Team Mia alla TextVQA Challenge 2021

Titolo originale: Team Mia at TextVQA Challenge 2021: Vision-and-Language Representation Learning with Pre-trained Sequence-to-Sequence Model

1. Il Problema (Problem Statement)

Il compito principale affrontato è il TextVQA (Text Visual Question Answering). A differenza del VQA tradizionale, che si concentra su oggetti visivi generici, il TextVQA richiede che il modello sia in grado di:

• Rilevare e leggere il testo presente all'interno delle immagini (OCR).
• Ragionare sul contenuto testuale per rispondere a domande specifiche.
  Il problema è complesso perché richiede l'integrazione di diverse modalità (testo della domanda, etichette di oggetti, testo della scena, caratteristiche visive degli oggetti e della scena) e la capacità di generare risposte testuali coerenti.

2. Metodologia (Methodology)

Il team ha adottato un approccio basato su un modello generativo Sequence-to-Sequence (Seq2Seq), utilizzando come base il modello pre-addestrato T5-3B (Text-to-Text Transfer Transformer) di HuggingFace. La strategia si articola in tre fasi principali:

A. Fase di Pre-addestramento (Pre-training Stage):
Per allineare meglio le caratteristiche degli oggetti con il testo della scena, il team ha progettato due nuovi compiti di pre-addestramento:

1. Masked Language Modeling (MLM): Mascheramento casuale (15%) dei token testuali per forzare il modello a ricostruirli.
2. Relative Position Prediction (RPP): Un compito volto a prevedere la posizione relativa tra le caratteristiche visive della scena e quelle degli oggetti.

L'architettura dell'encoder è progettata per la fusione multimodale di: domande, etichette di oggetti/scena e feature visive. Per migliorare la robustezza, è stata implementata una strategia di addestramento avversario (adversarial training) nello spazio degli embedding, combinata con una regolarizzazione basata sulla divergenza KL.

B. Fase di Fine-tuning:
Il modello, dopo il pre-addestramento su un dataset massivo di circa 9 milioni di immagini con testo di scena (composto da immagini reali e sintetiche), viene affinato esclusivamente sul dataset TextVQA. In questa fase, il decoder genera la risposta passo dopo passo utilizzando una funzione di perdita di cross-entropy.

C. Post-processing:
Per affinare la precisione delle risposte generate, è stato utilizzato un metodo di fuzzy string matching (tramite la libreria fuzzywuzzy), che utilizza la distanza di Levenshtein per correggere eventuali errori di trascrizione nelle sequenze di testo.

3. Contributi Chiave (Key Contributions)

• Utilizzo di un modello Seq2Seq su larga scala: L'impiego di T5-3B come base per compiti di visione-linguaggio.
• Nuovi obiettivi di pre-addestramento: L'introduzione di RPP per migliorare l'allineamento spaziale tra visione e testo.
• Dataset di pre-addestramento massivo: La creazione di un dataset di 9 milioni di coppie immagine-testo per potenziare la capacità di lettura del modello.
• Addestramento avversario nello spazio degli embedding: Una tecnica innovativa per aumentare l'invarianza delle rappresentazioni multimodali.

4. Risultati e Conclusioni (Results and Conclusions)

Sebbene il paper non riporti una tabella numerica dettagliata dei punteggi finali, indica che la soluzione del Team Mia ha ottenuto risultati competitivi rispetto alle sfide TextVQA 2020 e 2021 (come mostrato nel confronto della Figura 1 del paper).

Le conclusioni principali derivanti dagli esperimenti sono:

• Il pre-addestramento su enormi quantità di dati con obiettivi di matching immagine-testo porta a guadagni significativi.
• L'uso di modelli NLP pre-addestrati come base è una strategia vincente.
• Il miglioramento delle feature degli oggetti e del testo della scena è fondamentale per le prestazioni.
• Esiste ancora un margine di miglioramento per quanto riguarda le risposte composte da più parole.

5. Significato (Significance)

Questo lavoro dimostcola che l'approccio "generativo" (Text-to-Text) è estremamente efficace per il TextVQA. Sposta il focus dal semplice riconoscimento di oggetti alla comprensione profonda della relazione tra il contesto visivo e il testo scritto, stabilendo un benchmark su come l'integrazione di modelli linguistici massivi possa risolvere problemi di visione artificiale altamente complessi.