ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding

Sintesi Tecnica: ABLE (Attribution-Based Large-model Embedding)

Problematica
La rapida espansione dell'ecosistema dei Large Language Models (LLM) ha dato origine a una collezione etogenea di modelli con architetture, scale e origini di addestramento diverse, spesso privi di una documentazione chiara. Questa opacità complica compiti critici come l'audit della provenienza, l'analisi della sicurezza (ad esempio, il tracciamento della propagazione di backdoor) e la selezione intelligente dei modelli. I metodi di rappresentazione esistenti affrontano limitazioni significative in questo contesto:

• Analisi delle Caratteristiche Interne: I metodi che analizzano parametri o attivazioni sono efficaci per famiglie omogenee, ma faticano con l'eterogeneità strutturale, richiedendo strategie complesse di allineamento dei pesi che non scalano bene.
• Sondaggio dell'Output Esterno: I metodi black-box basati sugli output (ad esempio, log-likelihood o testo generato) scalano bene ma spesso confondono modelli con comportamenti superficiali simili ma computazioni interne differenti. Inoltre, confrontare gli output tra modelli con diversi tokenizer e vocabolari è difficile.

Metodologia
Gli autori propongono ABLE (Attribution-Based Large-model Embedding), un framework training-free che costruisce rappresentazioni dei modelli nello "spazio di interpretabilità" aggregando le attribuzioni delle caratteristiche basate sul gradiente. La pipeline consiste in tre fasi:

1. Calcolo dell'Attribuzione:

   • Il metodo utilizza le attribuzioni Gradient × Input (GI) su un dataset di sondaggio predefinito di domande a scelta multipla (MCQ).
   • Per ogni modello, viene calcolata l'attribuzione di ogni token di input alla log-probabilità di ogni opzione di risposta candidata. Ciò cattura i pattern di sensibilità all'input del modello piuttosto che solo la sua previsione finale.
   • Il risultato è un vettore di attribuzione ad alta dimensionalità a livello di token ($a_{token}$).

2. Allineamento Cross-Tokenizer:

   • Per affrontare l'incompatibilità di diversi tokenizer, ABLE impiega un processo di allineamento agnostico rispetto al tokenizer.
   • Mappatura Token-Carattere: Le attribuzioni a livello di token vengono distribuite uniformemente attraverso gli span di caratteri del testo originale.
   • Aggregazione Carattere-Parola: Le attribuzioni a livello di carattere vengono sommate in base ai delimitatori di spazio bianco per formare attribuzioni a livello di parola.
   • Ciò produce un vettore di attribuzione unificato a livello di parola ($a_{word}$) per tutti i modelli, indipendentemente dal loro tokenizer sottostante.

3. Riduzione della Dimensionalità:

   • I vettori ad alta dimensionalità a livello di parola sono proiettati in uno spazio di embedding compatto a bassa dimensionalità ($K$ dimensioni) utilizzando la proiezione casuale di Johnson-Lindenstrauss (JL).
   • Questo preserva le distanze a coppie tra i modelli con alta probabilità, consentendo al contempo un'elaborazione efficiente a valle.

Garanzie Teoriche
Il documento fornisce un'analisi della stabilità sotto standard assunzioni di regolarità per modelli di tipo Transformer differenziabili:

• Continuità di Lipschitz: Gli autori dimostrano che ABLE induce una mappa Lipschitz-continua dai parametri del modello agli embedding. Ciò garantisce che piccole perturbazioni nei parametri del modello risultino in cambiamenti limitati nello spazio degli embedding, prevenendo comportamenti caotici.
• Convergenza a Campione Finito: Il documento stabilisce limiti di concentrazione che mostrano come la rappresentazione empirica (calcolata da un insieme finito di campioni) converga alla rappresentazione a livello di popolazione all'aumentare della dimensione del campione.

Risultati Sperimentali
Il framework è stato validato su 239 LLM open-source che spaziano da dimensioni di parametri da 70M a 70B e varie famiglie (ad esempio, Llama, Mistral, Qwen, Bloom). Le scoperte chiave includono:

• Predizione della Relazione: ABLE ha superato i baseline (inclusi i metodi basati sull'output come PhyloLM e Log-Likelihood) nel predire se due modelli sono correlati (derivati dalla stessa sorgente). Ha raggiunto l'accuratezza più elevata (86,7%) e la precisione più alta (83,6%), dimostrando la sua capacità di rilevare sottili relazioni di derivazione che i metodi basati solo sull'output perdono.
• Routing dei Modelli: In un compito di routing dei modelli (predire quale modello risponde correttamente a una domanda), un router che utilizza le feature congelate di ABLE ha raggiunto un'accuratezza del 67,6%, superando leggermente il baseline EmbedLLM completamente addestrato (66,5%). Fondamentalmente, ABLE offre un vantaggio training-free, permettendo l'aggiunta di nuovi modelli al pool di routing senza dover riaddestrare l'intero sistema.
• Predizione del Punteggio di Benchmark: Utilizzando la regressione ridge, le feature di ABLE hanno predetto le prestazioni su benchmark standard (ARC, MMLU, TruthfulQA, ecc.) con correlazioni di Spearman compresi tra 0,81 e 0,89.
• Selezione dei Candidati: ABLE ha avuto successo nel restringere lo spazio di ricerca per la selezione di modelli specifici per task (ad esempio, per compiti matematici o di ragionamento), ottenendo punteggi NDCG@10 elevati (fino a 0,990) nella selezione di modelli base promettenti per l'adattamento.

Significatività e Rivendicazioni
Il documento afferma che ABLE offre un nuovo paradigma che colma il divario tra l'analisi dei parametri interni e il sondaggio dell'output esterno. Sfruttando lo spazio di interpretabilità, ABLE cattura pattern di sensibilità all'input specifici del modello che sono robusti alle differenze di architettura e di tokenizer.

Gli autori sottolineano che ABLE non è un sostituto dei metodi esistenti ma una visione complementare che rimane scalabile per ecosistemi eterogenei. Il framework fornisce un approccio principato e training-free per:

1. Audit della Provenienza: Identificare relazioni nascoste e potenziali problemi di copyright.
2. Routing dei Modelli: Selezionare efficientemente i modelli per compiti specifici senza riaddestramento.
3. Stima delle Prestazioni: Predire i punteggi dei benchmark per guidare la selezione dei modelli.

Il lavoro conclude che, sebbene il calcolo delle attribuzioni comporti un costo una tantum, le rappresentazioni risultanti riutilizzabili facilitano l'analisi efficiente a valle, offrendo un modo stabile e interpretabile per mappare l'evoluzione del panorama degli LLM.