Riepilogo Tecnico: Modelli a Collo di Bottiglia Concettuale Iperbolici (HypCBM)

1. Enunciato del Problema

I Modelli a Collo di Bottiglia Concettuale (CBM) sono emersi come un approccio leader per l'apprendimento automatico interpretabile, costringendo i modelli a prevedere concetti comprensibili all'uomo prima di prendere una decisione finale. Questa architettura garantisce trasparenza e consente interventi con l'uomo nel ciclo per correggere previsioni errate. Tuttavia, i CBM esistenti si basano su un difetto rappresentazionale fondamentale: incorporano i concetti in uno spazio euclideo piatto, trattandoli come dimensioni indipendenti e ortogonali.

In realtà, i concetti sono altamente strutturati e organizzati in gerarchie semantiche (ad esempio, "Cane" è un sottoinsieme di "Animale"). La geometria euclidea fatica a rappresentare queste relazioni ramificate senza forzare concetti genitori e figli in regioni sovrapposte o distorte, portando a incoerenze logiche (ad esempio, prevedere "Cane" senza "Animale") e a interventi inefficienti. Inoltre, i metodi attuali che tentano di imporre una struttura richiedono spesso un addestramento supervisionato aggiuntivo o moduli appresi, deviando dal paradigma desiderabile "post-hoc" in cui il modello è interpretabile senza riaddestrare il backbone.

2. Metodologia

Gli autori propongono i Modelli a Collo di Bottiglia Concettuale Iperbolici (HypCBM), un framework post-hoc che radica il collo di bottiglia concettuale nella geometria iperbolica per accogliere naturalmente le gerarchie semantiche.

2.1 Fondamento Geometrico

HypCBM utilizza il modello di Lorentz dello spazio iperbolico, una varietà Riemanniana a curvatura costante negativa. A differenza dello spazio euclideo, lo spazio iperbolico mostra una crescita esponenziale del volume, rendendolo il dominio naturale per l'apprendimento di rappresentazioni gerarchiche. Il framework sfrutta Modelli Vision-Language (VLM) iperbolici pre-addestrati, in particolare HyCoCLIP, che allinea gli embedding di immagini e testo in questo spazio utilizzando obiettivi a cono di implicazione.

2.2 Generazione e Filtraggio dei Concetti

Seguendo un paradigma senza etichette e post-hoc, HypCBM genera un insieme candidato di concetti utilizzando un Large Language Model (LLM) istruito con le etichette delle classi del dataset. Queste descrizioni testuali vengono codificate nella varietà iperbolica utilizzando il codificatore di testo congelato del VLM.

• Filtraggio basato sulla Norma: Per rimuovere concetti troppo generici (ad esempio, "oggetto") privi di potere discriminativo, il framework filtra i concetti in base alla loro distanza dall'origine nello spazio iperbolico. I concetti con norme basse (vicini all'origine) rappresentano categorie ampie e generiche e vengono potati, poiché tendono ad attivarsi indiscriminatamente.

2.3 Attivazione per Implicazione Iperbolica

L'innovazione fondamentale è la riformulazione dell'attivazione del concetto da una metrica di distanza simmetrica (come la similarità del coseno) a un problema geometrico di contenimento asimmetrico.

• Coni di Implicazione: Ogni concetto $c_i$ è associato a un cono di implicazione definito da un semiangolo $\omega(c_i)$, inversamente proporzionale alla norma spaziale del concetto (i concetti specifici hanno coni più stretti).
• Meccanismo di Attivazione: Un embedding di immagine $z$ attiva un concetto se cade geometricamente all'interno del cono di implicazione del concetto. Il valore di attivazione $a_i$ è calcolato come il "margine di inclusione"—il grado in cui l'embedding dell'immagine è contenuto nel cono, normalizzato dall'apertura del cono.
• Risultato: Ciò produce un vettore di attivazione sparso e non negativo che è gerarchicamente coerente per costruzione. Se un'immagine implica un concetto figlio specifico, implica geometricamente anche il concetto genitore.

2.4 Interventi Gerarchicamente Fedeli

Un limite critico dei CBM euclidei è che intervenire su un concetto genitore (ad esempio, impostando "Animale" a 0) non disattiva automaticamente i concetti figli (ad esempio, "Cane"), portando a paradossi logici. HypCBM risolve questo problema attraverso una scala adattiva:

• A causa della crescita esponenziale del volume dello spazio iperbolico, una soglia fissa per l'implicazione è insufficiente a diverse profondità gerarchiche.
• Gli autori derivano una legge di scala adattiva per il parametro di rigore dell'implicazione $\eta_{text}$, che scala linearmente con la norma del concetto genitore.
• Quando un utente sopprime un concetto genitore, il framework propaga automaticamente questa soppressione a tutti i discendenti geometrici che soddisfano la condizione di implicazione adattiva, garantendo correzioni coerenti in tutto l'albero concettuale.

3. Contributi Chiave

1. Attivazione per Implicazione Iperbolica: Un meccanismo che mappa le rappresentazioni delle immagini su attivazioni concettuali sparse e consapevoli della gerarchia tramite il contenimento nei coni di implicazione, eliminando la necessità di metriche di distanza simmetriche.
2. Legge di Scala Adattiva: Una strategia innovativa per gli interventi gerarchici che propaga le correzioni dell'utente in modo coerente attraverso l'albero concettuale adattando il rigore alla specificità geometrica dei concetti genitori.
3. Collo di Bottiglia Strutturato Post-Hoc: HypCBM è il primo framework a realizzare un collo di bottiglia strutturato completamente post-hoc senza moduli appresi o supervisione aggiuntiva, basandosi esclusivamente sulle proprietà geometriche dei VLM iperbolici pre-addestrati.

4. Risultati Sperimentali

Gli autori hanno valutato HypCBM su CIFAR-100, SUN397 e ImageNet, confrontandolo con baseline euclidee (LF-CBM) e modelli addestrati su dati significativamente maggiori.

• Accuratezza ed Efficienza dei Dati: HypCBM supera costantemente i modelli post-hoc euclidei. In particolare, rivaleggia con modelli euclidei addestrati su 20 volte più dati in regimi sparsi (bassi budget concettuali). Ad esempio, su ImageNet con un budget di 10 concetti, HypCBM raddoppia più che l'accuratezza della baseline (34,6% contro 15,3%).
• Coerenza Gerarchica: HypCBM dimostra una coerenza logica significativamente superiore. In regimi di budget rigorosi, ottiene un miglioramento relativo superiore al 100% nella coerenza rispetto alle baseline euclidee, garantendo che l'attivazione di un concetto figlio implichi l'attivazione del suo genitore.
• Responsività agli Interventi: Nelle simulazioni con l'uomo nel ciclo, HypCBM mostra un decadimento della confidenza più ripido durante la correzione degli errori, invertendo con successo le previsioni errate nella classe corretta per il 19% in più di campioni rispetto alla baseline euclidea.
• Robustezza: HypCBM esibisce una robustezza superiore alle corruzioni degli input (rumore, sfocatura, condizioni meteorologiche). Mantiene una "stabilità concettuale" significativamente più alta (coerenza semantica delle spiegazioni) sotto perturbazione rispetto ai modelli euclidei, che soffrono di un rapido degrado della qualità delle spiegazioni.

5. Significato e Affermazioni

Il documento afferma che i prior strutturali sullo spazio di rappresentazione possono servire come potente sostituto della scala in regimi sparsi e interpretabili. Incorporando i concetti in una varietà che riflette le loro relazioni gerarchiche, HypCBM produce spiegazioni più accurate, robuste e logicamente coerenti senza richiedere addestramento o supervisione aggiuntivi.

Gli autori sottolineano che l'interpretabilità non è semplicemente una proprietà degli output del modello, ma è fondamentalmente plasmata dalla geometria dello spazio di rappresentazione. HypCBM dimostra che sfruttare la naturale crescita esponenziale del volume dello spazio iperbolico permette un disaccoppiamento efficiente delle informazioni semantiche, consentendo ai modelli di raggiungere alte prestazioni e interpretabilità con meno dati rispetto alle loro controparti euclidee. Il framework è presentato come una via zero-shot verso l'interpretabilità per la classe emergente di modelli fondazionali iperbolici.