Speculative Decoding Shortcuts Can Undermine Language Model Safety Guarantees
Questo articolo dimostra che le scorciatoie della decodifica speculativa e la loro combinazione con tecniche di compressione del modello possono compromettere significativamente la sicurezza dei modelli linguistici introducendo spostamenti distribuzionali dominati dalla fuga del modello draft, proponendo la proposta di un'accettazione vincolata dall'allineamento per ripristinare le garanzie di sicurezza.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.