2026 articoli
Questo articolo presenta un quadro concettuale e una suite di strumenti basati sul design sensibile ai valori per aiutare i ricercatori a valutare e mitigare i rischi di sicurezza, come il linguaggio tossico, nell'addestramento e nel rilascio di agenti conversazionali neurali end-to-end.
Il paper introduce BERT, un nuovo modello di rappresentazione linguistica basato su trasformatori bidirezionali pre-addestrati su testo non etichettato che, grazie alla semplice sintonizzazione fine con un solo strato aggiuntivo, raggiunge risultati all'avanguardia in undici compiti di elaborazione del linguaggio naturale.
Il paper introduce il Transformer, una nuova architettura di rete basata esclusivamente sui meccanismi di attenzione che elimina ricorrenze e convoluzioni, ottenendo risultati superiori nelle traduzioni macchina e una maggiore efficienza computazionale rispetto ai modelli precedenti.
Gli autori propongono due nuove architetture di modelli per generare rappresentazioni vettoriali continue delle parole da grandi dataset, ottenendo miglioramenti significativi in termini di accuratezza e costi computazionali rispetto alle tecniche precedenti.