💻 computer science

TriCLE: Tri-Modal Vision-Language Reasoning for Edge-Deployed Fine-Grained Clustering

TriCLE è un sistema visione-linguaggio tri-modale distribuibile su edge che sintetizza dati termici e di profondità da singole immagini RGB di velivoli per ottenere un raggruppamento tassonomico ad alta precisione e di rilevanza ingegneristica sotto rigidi vincoli di memoria e di calcolo.

Autori originali: Kishor Datta Gupta, Md. Mahfuzur Rahman, Fahad Rahman, Ahmed Rafi Hasan, Faysal Mehrab Chowdhury, Mohd Ariful Haque, Roy George

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kishor Datta Gupta, Md. Mahfuzur Rahman, Fahad Rahman, Ahmed Rafi Hasan, Faysal Mehrab Chowdhury, Mohd Ariful Haque, Roy George

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di identificare un uccello in cielo, ma puoi vederlo solo per una frazione di secondo e la tua vista è un po' annebbiata. Potresti ipotizzare che sia un falco per via della sua forma, o un falco pellegrino per via della sua velocità, ma senza vedere chiaramente le sue piume potresti facilmente sbagliare. Ora, immagina di fare questo non con un uccello, ma con un aereo tecnologicamente avanzato, e di doverlo fare istantaneamente su un piccolo computer montato su un drone che non ha internet e ha pochissima batteria. Questo è il tipo di rompicapo che gli scienziati nel campo dell' "edge computing" e dell' "intelligenza artificiale" stanno cercando di risolvere. Vogliono che le macchine siano abbastanza intelligenti da comprendere scene complesse proprio dove avviene l'azione, senza dover inviare dati a un enorme supercomputer nel cloud. Per farlo, utilizzano i "Vision-Language Models", che sono come robot super intelligenti capaci di guardare un'immagine e parlare di ciò che vedono, combinando indizi visivi con un ragionamento simile a quello umano. Ma ecco il problema: la maggior parte di questi robot è addestrata solo su foto a colori normali. Nel mondo reale, specialmente per gli aeromobili, una foto a colori non è sempre sufficiente. A volte hai bisogno di vedere il calore che emana dal motore (visione termica) o la forma tridimensionale delle ali (visione di profondità) per distinguere due aerei dall'aspetto simile. La grande domanda è: come si insegna a un robot a usare tutti questi diversi "sensi" quando non hai una telecamera che possa vederli tutti insieme, e devi far girare l'intero sistema su un dispositivo minuscolo?

È qui che entra in gioco un nuovo progetto chiamato TriCLE. Pensa a TriCLE come a un mago astuto che può evocare sensi mancanti. I ricercatori si sono resi conto che, sebbene non avessero telecamere termiche reali o scanner laser 3D (LiDAR) per ogni foto di un aereo, potevano usare una singola foto a colori normale per creare versioni finte ma realistiche di quelle altre visualizzazioni. È come guardare uno schizzo in bianco e nero e usare un programma intelligente per colorarlo con firme termiche e poi scolpirlo in un modello 3D, mantenendo al contempo il disegno originale perfettamente allineato. Hanno fornito questo trio "tri-modale" — la vera foto a colori, la mappa di calore finta e la mappa di profondità 3D finta — a un cervello IA compatto (un modello da 4 miliardi di parametri basato su Qwen3-VL). Ma mostrare semplicemente all'IA queste tre visualizzazioni non era sufficiente; dovevano insegnarle a pensare come un ingegnere aeronautico, raggruppando gli aerei per tipo di motore, forma delle ali ed epoca di progettazione, piuttosto che solo per quanto siano lucidi.

Per addestrare questa IA, il team ha provato diversi metodi di insegnamento. Hanno scoperto che il modo migliore per insegnare al robot era una tecnica chiamata Group Sequence Policy Optimization (GSPO). Immagina di insegnare a uno studente a scrivere un saggio. Se correggi solo parola per parola mentre scrive, potrebbe incastrarsi in un loop, ripetendo la stessa frase all'infinito. Ma se lo lasci scrivere l'intero paragrafo, poi valuti l'intero flusso logico in un colpo solo, imparerà a mantenere i suoi pensieri coerenti e a raggiungere una conclusione chiara. Ecco cosa fa GSPO: osserva l'intero processo di ragionamento che l'IA genera e la premia per rimanere in pista, evitare loop ripetitivi e arrivare alla corretta classificazione ingegneristica.

I risultati di questo esperimento sono stati piuttosto promettenti. Quando testato su un set di immagini di aerei che l'IA non aveva mai visto prima, il modello addestrato con GSPO ha ottenuto la classificazione corretta il 78,00% delle volte. È anche riuscito a mantenere il formato di output corretto il 94,00% delle volte, il che significa che non si è confuso producendo frasi senza senso. Forse la cosa più importante per la parte "edge" della storia, i ricercatori hanno rimpicciolito questo modello intelligente usando una tecnica chiamata quantizzazione a 4 bit (essenzialmente comprimendo la memoria dell'IA senza perderne l'intelligenza). Dopo questa compressione, l'intero sistema rientrava in 8GB di memoria e poteva elaborare un'immagine complessa di un aereo in soli 1,48 secondi. Ciò suggerisce che TriCLE è un prototipo pratico per rendere i droni e i piccoli dispositivi abbastanza intelligenti da identificare gli aeromobili al volo. Tuttavia, gli autori sottolineano con cautela che, poiché le viste "termiche" e "3D" sono state generate da un programma per computer anziché misurate da sensori reali, si tratta di una prova di concetto. Il sistema funziona bene in queste simulazioni controllate, ma il team suggerisce che il lavoro futuro dovrà testarlo con dati sensoriali reali e sincronizzati per vedere se regge nel mondo reale, disordinato e imprevedibile.

Riepilogo Tecnico: TriCLE – Ragionamento Visivo-Linguistico Tri-Modale per il Raggruppamento Fine-Grained su Piattaforme Edge

1. Definizione del Problema

Il documento affronta la sfida di eseguire il raggruppamento tassonomico fine-grained di velivoli su piattaforme edge (es. droni), dove le risorse sono severamente limitate da memoria, capacità di calcolo e connettività intermittente. I modelli di riconoscimento basati solo su RGB e i modelli visivi-linguistici (VLM) general-purpose faticano in questo scenario per due ragioni principali:

Scarsità di Modalità: Il riconoscimento ad alte prestazioni di velivoli beneficia spesso di dati termici (FLIR) e geometrici (LiDAR), ma dataset allineati RGB–termico–LiDAR sono raramente disponibili.
Vincoli Edge: I metodi di percezione multi-modale esistenti assumono tipicamente sensori calibrati e annotazioni accoppiate, che sono difficili da ottenere, e sono spesso troppo pesanti dal punto di vista computazionale per l'implementazione su dispositivi edge.

L'obiettivo è creare un sistema in grado di interpretare immagini di velivoli sotto questi vincoli, distinguendo gli aeromobili in base a proprietà ingegneristiche rilevanti (propulsione, famiglia di strutture, dimensioni, epoca di progettazione) piuttosto che solo sull'aspetto superficiale.

2. Metodologia

Il sistema proposto, TriCLE, è una pipeline VLM tri-modale orientata all'applicazione, progettata per operare a partire da un singolo input RGB. La metodologia si articola in quattro fasi distinte:

A. Generazione di Dati Tri-Modali Sintetici

Poiché i dati multi-sensore allineati sono scarsi, TriCLE sintetizza le modalità mancanti da un'immagine RGB singola ( $I_{rgb}$ ):

Termico Sintetico ( $I_{th}$ ): Una vista termica in stile FLIR che preserva la struttura viene generata utilizzando un transformer FLIX.1-dev modificato. La generazione è guidata da ControlNet (condizionata dai bordi Canny) per mantenere la geometria della cellula e da strati LoRA addestrati su un dataset empirico FLIR per simulare i gradienti termici attorno a motori e gondole.
Pseudo-LiDAR ( $I_{lidar}$ ): Una mappa di profondità monoculare densa viene stimata dalla immagine termica sintetica utilizzando un Dense Prediction Transformer (DPT). Questa mappa di profondità viene proiettata all'indietro in una nuvola di punti 3D, che viene poi convertita in un'immagine di proiezione di profondità ortografica compatibile con gli encoder visivi standard dei VLM.
Risultato: Viene creato un tripletto tri-modale sincronizzato $T = (I_{rgb}, I_{th}, I_{lidar})$ per l'addestramento e l'inferenza.

B. Architettura del Modello e Fine-Tuning

Il sistema utilizza un backbone compatto Qwen3-VL-4B. Per adattare questo modello all'implementazione edge e a compiti di ragionamento specifici senza dimenticanza catastrofica, gli autori impiegano:

RPSFT (Rotation-Preserving Supervised Fine-Tuning): Invece del normale SFT, che può ruotare le matrici dei pesi pre-addestrati e degradare la conoscenza fuori distribuzione (OOD), l'RPSFT congela il modello base e aggiorna solo i pesi di proiezione dell'attenzione ( $W_q, W_v$ ) negli ultimi 12 strati. Questi aggiornamenti sono regolarizzati tramite vincoli ancorati a SVD per mantenere la deriva dei parametri entro il manifold pre-addestrato originale.

C. Strategie di Allineamento della Policy

Per allineare il ragionamento del modello con una tassonomia esperta di velivoli (raggruppamento per propulsione, struttura, ecc.), vengono valutate tre strategie di apprendimento per rinforzo:

GRPO (Group Relative Policy Optimization): Campiona più completamenti e li valuta in base a formato e accuratezza, utilizzando il vantaggio relativo all'interno del gruppo.
GSPO (Group Sequence Policy Optimization): Calcola i rapporti di probabilità sull'intera sequenza generata invece che token per token. Ciò mira a prevenire il collasso locale del token e incoraggiare percorsi di ragionamento globalmente coerenti.
DAPO (Direct Advantage Policy Optimization): Ottimizza una perdita di preferenza a coppie tra le risposte scelte e quelle rifiutate, utilizzando maschere di troncamento per filtrare le generazioni eccessivamente lunghe.

D. Ottimizzazione della Distribuzione

Il modello allineato viene sottoposto a quantizzazione a 4 bit e ottimizzazione della memoria dell'attenzione per rientrare in un target di 8GB di VRAM, consentendo l'elaborazione in tempo reale su dispositivi edge.

3. Contributi Chiave

Il documento delinea tre contributi primari:

Pipeline Tri-Modale Orientata all'Edge: Un sistema completo per il raggruppamento tassonomico di velivoli utilizzando input RGB, termico sintetico e pseudo-LiDAR, specificamente progettato per ambienti con risorse limitate.
Procedura di Sensing Sintetico: Un metodo per generare viste allineate in stile FLIR e di proiezione di profondità da immagini monoculari, fornendo indizi ausiliari controllati quando i dati multi-sensore reali non sono disponibili.
Valutazione Focalizzata sulla Distribuzione: Un'analisi completa delle strategie di allineamento della policy (GRPO, GSPO, DAPO), della validità dell'output strutturato, della generalizzazione zero-shot, degli effetti della quantizzazione e della latenza.

4. Risultati Sperimentali

Il sistema è stato valutato su un dataset curato di 800 immagini di velivoli a classe singola e una partizione di test tenuta separata di 100 campioni.

Performance di Ottimizzazione della Policy:
- GSPO è emerso come la strategia superiore. Sul set di validazione, ha raggiunto un'accuratezza dell'88,33% e un F1 pesato di 0,91.
- Sulla partizione di test tenuta separata, GSPO ha raggiunto un'accuratezza del 78,00% e un F1 pesato di 0,793, mantenendo un 94,00% di formattazione dell'output analizzabile.
- I metodi a livello di token (GRPO e DAPO) hanno mostrato un'accuratezza inferiore (67,00%) e una conformità al formato inferiore (85,00%) sul set tenuto separato, indicando vulnerabilità a loop rappresentazionali su input non familiari.
RPSFT vs. SFT Standard: Mentre lo SFT standard ha ottenuto un'accuratezza in-distribution più elevata (63,75% vs. 55,00%), ha sofferto di dimenticanza catastrofica. L'RPSFT ha preservato le capacità di ragionamento generale, raggiungendo un'accuratezza OOD del 90,16% sul benchmark ScienceQA.
Performance Edge: Dopo la quantizzazione a 4 bit, il modello rientra nel target di distribuzione da 8GB e processa ogni tripletto tri-modale in 1,48 secondi.
Generalizzazione Cross-Domain: Quando testato sul dataset di scene stradali DSERT-RoLL (zero-shot), il modello allineato con GSPO ha mantenuto il 100% di successo nel formato e ha dimostrato robustezza nei compiti di conteggio (es. MAE di circa 0,54 per i pedoni), sebbene il matching esatto delle classi sia rimasto complesso a causa dello shift di dominio.

5. Significato e Affermazioni

Il documento posiziona TriCLE come un prototipo pratico per il raggruppamento di velivoli interpretabile e fattibile su dispositivi edge. Il suo significato risiede nel dimostrare che:

Fusione Multi-Modale Sintetica: È possibile addestrare sistemi di ragionamento tri-modali efficaci utilizzando dati termici sintetici e proiezioni di profondità derivati da immagini RGB quando i sensori reali allineati non sono disponibili.
Ottimizzazione a Livello di Sequenza: L'ottimizzazione della policy a livello di sequenza (GSPO) è più efficace dei metodi a livello di token per mantenere un ragionamento coerente e una validità strutturale in compiti di generazione a lungo formato su dispositivi edge.
Fattibilità: Il ragionamento tri-modale complesso può essere compresso in un modello da 4 miliardi di parametri che gira entro gli 8GB di VRAM con una latenza inferiore ai 2 secondi, rendendolo vitale per l'implementazione edge nel mondo reale.

Limitazioni Riconosciute:
Gli autori dichiarano esplicitamente che TriCLE è un prototipo. Gli input termici e LiDAR sono sintetici e possono contenere artefatti del generatore, il che significa che non possono sostituire l'hardware calibrato. La valutazione è limitata a immagini a oggetto singolo e non cattura completamente scene con più velivoli. I risultati cross-domain sulle scene stradali servono come stress test per la robustezza della sintassi piuttosto che come validazione delle capacità di raggruppamento dei velivoli. Il lavoro futuro richiede la validazione su flussi di sensori reali e co-registrati.