Adaptive and Robust Cost-Aware Proof of Quality for Decentralized LLM Inference Networks

Sintesi Tecnica: Proof of Quality Adattiva e Robusta per Reti di Inferenza LLM Decentralizzate

Problema

Le reti di inferenza per modelli linguistici di grandi dimensioni (LLM) decentralizzate mirano a fornire un accesso aperto e resistente alla censura alle capacità dell'IA, ma richiedono meccanismi trustless per verificare la qualità dell'output su larga scala. Mentre la verifica crittografica è spesso troppo costosa per la latenza interattiva, i sistemi pratici si affidano alla "Proof of Quality" (PoQ), in cui nodi valutatori leggeri assegnano punteggi agli output candidati per formare un segnale di consenso per i premi.

Tutt even, in implementazioni aperte e permissionless, questo meccanismo affronta vulnerabilità critiche:

1. Eterogeneità dei Valutatori: I valutatori variano significativamente in termini di affidabilità e allineamento al compito; alcuni possono persino esibire un disallineamento dipendente dal compito che inverte le correlazioni con la verità fondamentale (ground truth).
2. Manipolazione Avversaria: I valutatori maliziosi possono manipolare i punteggi per influenzare il consenso, gonfiare i pagamenti o sabotare i concorrenti.
3. Fragilità della Semplice Aggregazione: Le standard regole di consenso basate sulla semplice media sono altamente sensibili ai punteggi estremi (outlier), rendendole vulnerabili a iniezione di rumore, boosting e attacchi di sabotaggio.

Questi problemi minacciano l'allineamento degli incentivi, portando potenzialmente a pagamenti eccessivi per output di bassa qualità o alla selezione di modelli subottimali.

Metodologia

Il documento propone un'estensione resiliente agli avversari a un meccanismo di PoQ orientato ai costi precedentemente stabilito. L'approccio preserva la struttura di incentivi originale (bilanciando qualità e costo computazionale) pur rendendo più robusto lo strato di consenso. La metodologia consiste in tre componenti principali:

1. Regole di Aggregazione Robuste
Invece di fare affidamento esclusivamente sulla media aritmetica, il sistema valuta quattro regole di formazione del consenso:

• Media Semplice: Media non pesata (baseline).
• Mediana: Utilizza la mediana del campione per ridurre l'influenza dei grandi outlier.
• Media Truncata (Trimmed Mean): Rimuove una frazione fissa ($\gamma$) di punteggi estremi da entrambi i lati prima della media, preservando più informazioni rispetto alla mediana pur limitando l'impatto avversario.
• Media Pesata Adattiva: Utilizza pesi di fiducia per ridurre dinamicamente l'influenza dei valutatori inaffidabili.

2. Pesatura della Fiducia Adattiva
Il sistema mantiene un peso di fiducia non negativo ($w_e$) per ogni valutatore, aggiornato online in base ai segnali di deviazione.

• Segnale di Deviazione: Calcolato come la differenza assoluta normalizzata tra il punteggio di un valutatore e il punteggio di consenso ($d_{t,e} = |s_{t,e} - c_t| / 10$).
• Regola di Aggiornamento: Un aggiornamento moltiplicativo aumenta la fiducia quando la deviazione è bassa ($<0.5$) e la diminuisce quando la deviazione è alta ($>0.5$), con un limite (clamp) nell'intervallo $[w_{min}, w_{max}]$. Ciò consente al sistema di declassare gli outlier persistenti senza richiedere la supervisione della verità fondamentale.

3. Design dei Premi Orientato ai Costi
I premi sono calcolati sia per i nodi di inferenza che per i valutatori:

• Nodi di Inferenza: I premi combinano la qualità normalizzata (derivata dal consenso) e il costo della latenza normalizzato. Viene applicata una penalità per soglia di qualità per gli output al di sotto di un certo standard, e un bonus di efficienza premia l'alta qualità a basso costo.
• Nodi Valutatori: I premi dipendono dalla "vicinanza" al punteggio di consenso e dal costo di valutazione. Ciò incentiva i valutatori ad allinearsi con il segnale collettivo pur rimanendo efficienti.

4. Modello di Minaccia e Valutazione
Gli autori definiscono un modello di minaccia in cui un avversario controlla una frazione ($\rho$) dei valutatori e impiega quattro strategie di attacco:

• Iniezione di Rumore Casuale: Aggiunta di rumore uniforme limitato ai punteggi.
• Boosting: Aggiunta di un bias positivo fisso.
• Sabotaggio: Sottrazione di un bias negativo fisso.
• Manipolazione Strategica: Applicazione di grandi deviazioni in modo intermittente con direzione casuale.

Il...