Iterative Definition Refinement for Zero-Shot Classification via LLM-Based Semantic Prototype Optimization

1. Enunciato del Problema

La classificazione dei contenuti web è essenziale per la cybersecurity (ad esempio, il blocco di URL dannosi) e per la conformità normativa. Tuttavia, i metodi supervisionati tradizionali richiedono grandi dataset annotati e faticano a gestire la natura dinamica del web. La classificazione zero-shot che utilizza modelli di embedding offre una soluzione mappando testo e descrizioni delle categorie in uno spazio semantico condiviso senza addestramento specifico per il compito.

Il Limite Fondamentale: Le prestazioni della classificazione zero-shot basata su embedding sono intrinsecamente legate alla qualità delle definizioni delle categorie (prototipi semantici).

• Se le definizioni sono vaghe, eccessivamente generali o semanticamente simili tra le classi, i prototipi risultanti nello spazio di embedding si sovrappongono.
• Ciò porta a errori di classificazione sistematici, anche quando si utilizzano modelli di embedding all'avanguardia.
• Gli approcci attuali o affinano i modelli (costoso, richiede dati) o utilizzano definizioni statiche (fragili). Non esiste un meccanismo per migliorare iterativamente le definizioni stesse senza riaddestrare il modello.

2. Metodologia

Gli autori propongono un framework adattivo senza addestramento che utilizza i Large Language Models (LLM) per raffinare iterativamente le definizioni delle categorie basandosi sul feedback di classificazione. Il modello di embedding rimane congelato per tutta la durata del processo.

2.1. Flusso di Lavoro Principale

1. Inizializzazione: Le definizioni delle categorie vengono inizializzate (in modo minimale o tramite un LLM).
2. Embedding e Classificazione: Testo e definizioni vengono convertiti in embedding utilizzando un modello fondazionale congelato. Le etichette vengono assegnate tramite similarità del coseno.
3. Ciclo di Feedback: Il sistema calcola le metriche di prestazione (Macro F1) e identifica le modalità di fallimento (ad esempio, istanze classificate erroneamente).
4. Raffinamento: Un LLM riceve le definizioni correnti e segnali di feedback specifici per generare definizioni migliorate.
5. Iterazione: Il processo si ripete, aggiornando le definizioni fino alla convergenza.

2.2. Tre Strategie di Raffinamento

Il paper introduce tre strategie distinte per guidare l'ottimizzazione dell'LLM:

• M1: Raffinamento Guidato da Esempi

  • Input: Definizioni correnti + un campione etichettato casuale + punteggio Macro F1 corrente.
  • Obiettivo: Radicare le definizioni nelle caratteristiche dei dati reali per garantire che catturino l'essenza semantica della categoria.

• M2: Raffinamento Consapevole della Confusione

  • Input: Definizioni correnti + campioni dalle coppie di classi più confuse (top-$k$) (derivate dalla matrice di confusione) + Macro F1 corrente.
  • Obiettivo: Colpire specificamente i confini decisionali in cui il classificatore fallisce, costringendo l'LLM a rendere le categorie confuse più distinguibili.

• M3: Raffinamento Consapevole della Storia con Accettazione Stocastica

  • Input: Definizioni correnti + la storia degli ultimi $m$ insiemi di definizioni e i loro punteggi + campioni di confusione.
  • Meccanismo: Per impedire all'LLM di rimanere intrappolato in ottimi locali, gli autori implementano una regola di accettazione Monte Carlo (ispirata al Simulated Annealing).
  • Logica: Se una nuova definizione migliora le prestazioni, viene accettata. Se peggiora le prestazioni, viene accettata con una probabilità $P = \exp(-\Delta E / T_t)$, dove $T_t$ è un parametro di temperatura che diminuisce nel tempo. Ciò consente l'"esplorazione" dello spazio delle definizioni nelle fasi iniziali e lo "sfruttamento" (accettazione avida) nelle fasi successive.

3. Contributi Chiave

1. Framework Innovativo: Il primo framework ad applicare il raffinamento iterativo dei prototipi semantici alla classificazione dei contenuti web senza aggiornare i parametri del modello. Sposta il focus dell'ottimizzazione dai pesi del modello alla qualità dei prompt/definizioni.
2. Innovazione Strategica: Introduzione di tre strategie di raffinamento (Esempi, Confusione, Storia) e l'integrazione di una regola di accettazione Monte Carlo per navigare efficacemente lo spazio di ricerca delle definizioni.
3. Benchmarking Completo:
   • Valutato su 13 modelli fondazionali di embedding all'avanguardia (che variano da 278M a 1B parametri).
   • Testato con 4 diversi LLM (Gemma, Mistral, GLM, Qwen) per il ciclo di raffinamento.
   • Ha dimostrato che combinazioni specifiche di LLM/Embedding producono risultati ottimali, fornendo indicazioni per il deployment.
4. Nuovo Dataset (B2MWT-10C): Rilascio di un benchmark etichettato da umani contenente 10.000 URL in 10 categorie semanticamente sovrapposte (ad esempio, "Scommesse e Gioco d'azzardo" vs "Tempo Libero e Intrattenimento"), progettato specificamente per testare i limiti della classificazione zero-shot.

4. Risultati Sperimentali

Il framework è stato testato sul dataset N24News e sul nuovo dataset B2MWT-10C.

• Miglioramenti delle Prestazioni:
  • Miglioramento Costante: Ogni modello di embedding ha mostrato guadagni di prestazioni dopo il raffinamento. Nessuna esecuzione di raffinamento ha degradato le prestazioni rispetto alla baseline.
  • Entità: Su B2MWT-10C, il miglior modello (Voyage-4-nano) è passato da una baseline di 62.65 a 75.49 (+12.84 punti).
  • Alto Impatto su Baseline Deboli: I modelli con prestazioni inizialmente scarse hanno registrato i maggiori guadagni relativi. Ad esempio, Multilingual-e5-large su N24News è passato da 49.30 a 69.20 (+19.90 punti).
• Confronto delle Strategie:
  • M3 (Consapevole della Storia) ha generalmente superato M1 e M2, in particolare quando combinata con la regola di accettazione stocastica.
  • Consapevole della Confusione (M2) ha fornito guadagni significativi rispetto a Guidato da Esempi (M1), dimostrando che colpire punti di fallimento specifici è più efficace del campionamento casuale.
• Evidenza Visiva:
  • Grafici t-SNE: Hanno mostrato che i prototipi di categoria inizialmente sovrapposti (ad esempio, "Media" vs "Opinione") sono diventati ben separati dopo il raffinamento.
  • Matrici di Confusione: Hanno dimostrato un passaggio verso la dominanza diagonale, indicando una ridotta confusione tra classi semanticamente simili.

5. Significato e Conclusione

Questo paper stabilisce la qualità delle definizioni come un fattore critico, ma poco esplorato, nei sistemi basati su embedding.

• Efficienza dei Costi: Offre un'alternativa "senza addestramento" al fine-tuning. Le organizzazioni possono migliorare l'accuratezza della classificazione semplicemente ottimizzando i propri prompt/testi di definizione utilizzando un LLM, evitando il costo computazionale e i requisiti di dati del riaddestramento dei modelli di embedding.
• Adattabilità: Il framework è altamente adattabile a nuove categorie o contenuti web in evoluzione, poiché le definizioni possono essere raffinate in tempo reale basandosi sul feedback di classificazione errata nel mondo reale.
• Direzioni Future: Gli autori suggeriscono di estendere questo approccio alle modalità visive e ai Vision-Language Models (VLM), indicando un'applicabilità più ampia oltre la sola classificazione testuale.

In sintesi, il paper dimostra che raffinare iterativamente le "domande" (definizioni) è potente quanto raffinare le "risposte" (pesi del modello) per i compiti di classificazione zero-shot.