Scaling-Aware Data Selection for End-to-End Autonomous Driving Systems

1. Il Problema

I modelli di intelligenza artificiale fisica (come i sistemi di guida autonoma) richiedono enormi quantità di dati diversificati per essere addestrati efficacemente. Tuttavia, addestrare modelli su tutti i dati raccolti è computazionalmente inefficiente e spesso inutile, poiché non tutti i dati contribuiscono allo stesso modo alle diverse metriche di valutazione.

Le sfide principali identificate sono:

• Metriche Competitor: I sistemi di guida autonoma devono ottimizzare metriche multiple e talvolta conflittuali (es. rispetto delle regole, comfort, efficienza, sicurezza).
• Eterogeneità dei Dati: I dati provenienti da contesti diversi (es. traffico denso vs. strade rurali) influenzano le metriche di valutazione a velocità diverse.
• Limiti delle Strategie Attuali: I metodi esistenti per la selezione dei dati (come l'apprendimento attivo o la rimozione dei duplicati) spesso assumono domini omogenei o non tengono conto di come la performance scala in modo diverso per diverse fonti di dati rispetto a metriche specifiche.

L'obiettivo è quindi selezionare un sottoinsieme di dati ottimale che massimizzi una funzione di utilità aggregata (che combina tutte le metriche) con il minor budget di dati possibile.

2. Metodologia: MOSAIC

Gli autori propongono MOSAIC (Mixture Optimization via Scaling-Aware Iterative Collection), un framework generale per l'ottimizzazione del mix di dati. Il processo si articola in tre fasi principali:

A. Clustering e Ranking dei Dati

1. Clustering: Il pool di dati grezzo ($D_{pool}$) viene suddiviso in domini discreti (cluster) basati su caratteristiche contestuali (es. geolocalizzazione o descrizioni semantiche delle scene). L'obiettivo è raggruppare campioni che influenzano le metriche in modo simile.
2. Ranking: All'interno di ogni cluster, i campioni vengono ordinati in base a un punteggio di importanza ($I(x)$). Questo punteggio è calcolato valutando quanto un singolo campione contribuisce al miglioramento della funzione di utilità globale. I campioni ad alta importanza vengono selezionati per primi.

B. Stima delle Leggi di Scaling (Scaling Laws)

Per ogni cluster, il framework stima una legge di scaling che descrive come la performance del modello migliora all'aumentare del numero di campioni aggiunti da quel dominio specifico.

• Viene utilizzata una legge di scaling esponenziale saturante: $\Delta U_i(n) \approx a_i(1 - e^{-n/\tau_i})$.
• I parametri $a_i$ (miglioramento asintotico) e $\tau_i$ (tasso di saturazione) sono stimati tramite brevi esperimenti pilota ("pilot runs") su piccoli subset di dati.
• Questo permette di prevedere il guadagno marginale di aggiungere un nuovo campione da un determinato cluster senza dover riaddestrare l'intero modello.

C. Raccolta Iterativa Consapevole dello Scaling

Il framework risolve un problema di ottimizzazione per determinare quanti campioni prelevare da ciascun cluster.

• Invece di calcolare la soluzione globale in una volta sola, MOSAIC utilizza un approccio iterativo.
• Ad ogni passo, calcola il guadagno marginale atteso ($\delta_i$) per ogni cluster (la differenza di utilità tra aggiungere $n+1$ o $n$ campioni).
• Seleziona il campione successivo dal cluster che offre il massimo guadagno marginale in quel momento.
• Questo processo continua fino a raggiungere il budget di dati desiderato, adattando dinamicamente la composizione del set di addestramento man mano che i rendimenti marginali dei diversi cluster diminuiscono (saturazione).

3. Contributi Chiave

1. Framework MOSAIC: Un pipeline generico che combina clustering, ranking e modellazione delle leggi di scaling per ottimizzare i mix di dati in scenari con metriche multiple.
2. Applicazione alla Guida Autonoma End-to-End: Validazione su benchmark reali (NAVSIM e OpenScene) utilizzando il modello vincitore Hydra-MDP. Il sistema ottimizza l'EPDMS (Extended Predictive Driver Model Score), un aggregato di 9 metriche di conformità alle regole di guida.
3. Efficienza dei Dati: Dimostrazione empirica che MOSAIC supera le strategie di baseline (Random, Uncertainty, Coreset, Chameleon) ottenendo performance superiori con fino all'82% in meno di dati.
4. Robustezza: Il metodo funziona bene indipendentemente dal metodo di clustering utilizzato (geolocalizzazione o caption semantiche), dimostrando che la componente di scaling è fondamentale per il successo.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset principali: OpenScene e Navtrain.

• Performance EPDMS: MOSAIC ha costantemente ottenuto i punteggi EPDMS più alti rispetto a tutte le baseline. Ad esempio, nel dataset OpenScene, con un budget di 4000 clip, MOSAIC ha raggiunto un EPDMS di 84.25, superando il metodo migliore tra le baseline (Coreset, 83.63) e il Random (80.38).
• Efficienza (BRMR - Budget Ratio to Match Random): MOSAIC richiede drasticamente meno dati per raggiungere la stessa performance ottenuta da una selezione casuale.
  • Su OpenScene: MOSAIC ha bisogno di circa il 15-20% dei dati richiesti dal Random per eguagliarne le performance (BRMR < 0.2).
  • Su Navtrain: Il risparmio è ancora più marcato, con un BRMR di circa 0.30-0.40.
• Analisi delle Metriche Singole: MOSAIC non migliora solo la metrica aggregata, ma bilancia strategicamente i miglioramenti. Ad esempio, ha mostrato guadagni significativi nella metrica DAC (Dynamics and Comfort), che era un punto debole del modello base, mantenendo alte performance anche su altre metriche come la conformità alle regole (NC) e il mantenimento della corsia (LK).
• Ablation Study:
  • La rimozione del Ranking o del Clustering degrada le prestazioni, confermando che entrambi i componenti sono necessari.
  • L'uso di caption semantiche per il clustering invece della geolocalizzazione conferma la robustezza del metodo, anche se alcune baseline (come Chameleon) ne risentono negativamente.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'ottimizzazione dei dati per l'IA fisica.

• Superamento delle Limitazioni Attuali: A differenza dei metodi che trattano i dati come omogenei o che si basano su semplici metriche di incertezza, MOSAIC riconosce esplicitamente che diversi tipi di dati hanno curve di apprendimento diverse per diverse metriche.
• Riduzione dei Costi: Dimostrando che è possibile ottenere performance di punta con una frazione dei dati di addestramento, il metodo riduce drasticamente i costi computazionali e di raccolta dati, rendendo lo sviluppo di sistemi di guida autonoma più scalabile ed economico.
• Generalizzabilità: Sebbene applicato alla guida autonoma, il framework MOSAIC è progettato per essere generale e può essere applicato ad altri sistemi di IA fisica che devono bilanciare metriche di performance conflittuali.

In sintesi, MOSAIC fornisce una "mappa" principiale per navigare nello spazio dei dati eterogenei, permettendo agli ingegneri di costruire set di addestramento più intelligenti, efficienti e performanti.