Sintesi Tecnica: TokenScope

Problema

Comprendere i processi decisionali dei Large Language Models (LLM) durante la generazione di codice rimane una sfida significativa. Sebbene gli strumenti di interpretabilità esistenti offrano approfondimenti sui meccanismi interni del modello o valutazioni post-hoc, essi soffrono di critiche limitazioni:

• Mancanza di Segnali in Fase di Decoding: Raramente espongono misure di incertezza in tempo reale, candidati alternativi o margini decisionali durante il processo di generazione.
• Problemi di Granularità: Spesso trattano la generazione come un singolo risultato piuttosto che come una sequenza di decisioni interdipendenti a livello di token.
• Disconnessione dalla Struttura del Codice: Tipicamente mancano di meccanismi per allineare i segnali interni del modello (come l'attenzione) con la semantica strutturale del codice (es. Abstract Syntax Trees).
• Natura Statica: La maggior parte degli strumenti richiede analisi offline e una competenza sostanziale, impedendo l'esplorazione interattiva di controfatti o modalità di errore.

Di conseguenza, ricercatori e professionisti mancano dell'infrastruttura per investigare sistematicamente dove sorge l'incertezza, come l'attenzione cambia nel tempo e come le decisioni locali a livello di token si propagano in errori strutturali nel codice generato.

Metodologia

Gli autori introducono TokenScope, un ambiente di interpretabilità e analisi interattivo progettato specificamente per i modelli LLM basati su decoder in compiti orientati al codice. Il sistema è costruito su un'architettura modulare a tre componenti:

1. Generation Server: Gestisce la scoperta del modello, il caricamento e il decoding a basso livello. Espone modelli decoder-only compatibili con Hugging Face tramite un'API di generazione minimale.
2. Orchestration Server: Coordina le richieste di generazione, gestisce le sessioni utente, gestisce gli stati di branching, calcola le metriche e serve le API rivolte al frontend.
3. Frontend Basato su Web (React): Fornisce visualizzazioni interattive e controlli per esplorare il comportamento del modello.

Meccanismi Core

• Strumentazione in Fase di Decoding: TokenScope strumenta il processo di decoding per catturare segnali granulari ad ogni step di generazione, inclusi probabilità dei token, candidati alternativi, pesi dell'attenzione e metriche di incertezza derivate. Questi vengono trasmessi al frontend tramite streaming.
• Branching Interattivo: Gli utenti possono sostituire qualsiasi token generato con un candidato alternativo o un testo personalizzato e continuare la generazione dal prefisso modificato. Il sistema mantiene una struttura di branching per registrare i prefissi condivisi e le continuazioni divergenti, consentendo l'esplorazione di output controfattuali.
• Analisi Strutturale Consapevole del Codice: Utilizzando i parser Tree-Sitter, TokenScope mappa i token generati agli i nodi dell'Abstract Syntax Tree (AST) (es. espressioni, istruzioni, funzioni). Ciò consente l'aggregazione di metriche a livello di token e segnali di attenzione su unità strutturali semanticamente significative.

Metriche e Definizioni

TokenScope espone una serie di metriche quantitative definite come segue:

• Probabilità del Token (Confidenza): La probabilità $p_t(y_t)$ assegnata al token generato.
• Surprisal del Token: Definita come $-log p_t(y_t)$, misura l'imprevedibilità di un token dato il contesto.
• Margine di Confidenza: La differenza tra la probabilità del token più probabile e del secondo più probabile, riflettendo la decisione locale.
• Entropia: Quantifica l'incertezza sulla distribuzione dei candidati ($H_t = -\sum p_t(v) log p_t(v)$).
• Perplessità della Sequenza: Quantifica l'imprevedibilità media dell'intera sequenza generata.
• Massa di Attenzione: Misura quanto un determinato token continui a influenzare le decisioni di decoding successive, calcolata come la media dell'attenzione ricevuta da tutti i token successivi attraverso le teste di attenzione.

Contributi Chiave

Il documento delinea quattro contributi primari:

1. Strumento TokenScope: Un ambiente interattivo che espone segnali a livello di token durante il decoding per i transformer-based LLM, focalizzandosi specificamente sulla generazione di codice.
2. Metriche Integrate e Branching: Supporto per metriche di incertezza a livello di token, salienza dell'attenzione e branching interattivo per la generazione controfattuale.
3. Analisi Consapevole del Codice: La capacità di allineare i segnali a livello di token con le entità AST a molteplici livelli di granularità (modalità Token, Expression, Statement, Line e Block).
4. Ambiente Unificato: Un sistema che combina spiegabilità, interpretabilità ed esplorazione guidata dall'utente, affrontando le limitazioni degli strumenti che si concentrano esclusivamente sull'analisi post-hoc o su segnali interni isolati.

Risultati e Capacità

Il documento dimostra le capacità di TokenScope attraverso visualizzazioni e descrizioni funzionali piuttosto che attraverso il benchmarking quantitativo rispetto ad altri strumenti. Le principali capacità dimostrate includono:

• Visualizzazione dell'Incertezza: Visualizzare punteggi di confidenza, entropia e surprisal come token colorati e grafici di metriche (es. visualizzando la generazione della funzione sort).
• Visualizzazione dell'Attenzione: Mostrare la massa di attenzione per testa e la media tra le teste per rivelare dipendenze a lungo raggio.
• Esplorazione Controfattuale: Consentire agli utenti di sostituire un token (es. cambiando return in print) e osservare come la generazione diverge dal percorso originale.
• Aggregazione Strutturale: Mostrare come le metriche possano essere aggregate dal livello di token fino al livello di blocco (es. corpi di funzioni o loop) per identificare regioni strutturalmente fragili.

Significato e Rivendicazioni

Gli autori posizionano TokenScope come un ambiente pratico per il debugging, l'auditing e la comprensione del codice generato da LLM oltre l'ispezione post-hoc. Il suo significato risiede in:

• Investigazione Sistematica: Permettere lo studio di dove sorge l'incertezza durante la generazione e di come le decisioni locali si propagano in errori strutturali.
• Colmare il Divario: Unificare i segnali di decoding con l'analisi strutturale del programma, fondamentale per i compiti di codifica in cui piccole deviazioni di token possono portare a fallimenti sintattici o semantici.
• Accessibilità: Fornire un'interfaccia che non richiede la profonda competenza tecnica spesso necessaria per i framework di interpretabilità meccanicistica, rendendo l'analisi a livello di token accessibile sia ai ricercatori che ai professionisti.

Il documento riconosce i limiti, notando che attualmente si rivolge a modelli decoder-only con probabilità accessibili (escludendo le API chiuse), utilizza i parser Tree-Sitter (attualmente limitati a Python) ed è progettato come strumento di analisi piuttosto che come sistema di inferenza ad alte prestazioni, a causa dell'overhead dell'estrazione di segnali granulari. Il codice sorgente è reso aperto per facilitare ulteriori studi.