1881 articoli
Il paper introduce LEDOM, un modello linguistico autoregressivo addestrato esclusivamente da destra a sinistra che sviluppa capacità di ragionamento uniche e, combinato con modelli forward tramite il meccanismo "Reverse Reward", riduce le allucinazioni e migliora significativamente le prestazioni su compiti matematici complessi.
Il paper presenta Skywork-Reward-V2, una serie di modelli di ricompensa open-source che raggiungono prestazioni all'avanguardia grazie all'addestramento su SynPref-40M, un vasto dataset di preferenze curato tramite una pipeline sinergica uomo-intelligenza artificiale.
Questo lavoro presenta un framework scalabile per la validazione degli item dei questionari psicometrici destinati ai modelli linguistici, che utilizza la simulazione di rispondenti virtuali con mediatori di risposta diversificati per identificare in modo efficiente e a basso costo gli elementi che misurano con validità i tratti psicologici.
Il paper introduce ASCoT, un metodo che affronta la "fragilità tardiva" nel ragionamento dei LLM identificando e correggendo selettivamente gli errori nelle fasi finali, ottenendo così una significativa riduzione del consumo di token senza compromettere l'accuratezza.
Questo studio presenta un modello di record linking, definito come risoluzione di coreferenza cross-documento, che combina tecniche di inferenza linguistica naturale e similarità testuale semantica per migliorare la qualità e la connettività dei registri di turno frammentati nell'industria di processo tedesca, superando significativamente le prestazioni dei modelli di base.
Questo studio dimostra che è possibile prevedere con sorprendente accuratezza la qualità della traduzione automatica e le sue disuguaglianze linguistiche utilizzando esclusivamente metadati e il rapporto di fertilità dei token, senza dover eseguire effettivamente il sistema di traduzione.
Lo studio dimostra che l'inefficienza della tokenizzazione penalizza sistematicamente le lingue a risorse limitate riducendo l'accuratezza e aumentando i costi computazionali, evidenziando come i modelli di ragionamento possano mitigare questo divario e sottolineando la necessità di tokenizzazione morfologicamente consapevole per un NLP più equo.
Questo studio dimostra che è possibile prevedere l'accuratezza delle risposte di un LLM analizzando le sue attivazioni interne immediatamente dopo la lettura della domanda e prima della generazione della risposta, rivelando che tale segnale di "correttezza anticipata" generalizza su diversi modelli e domini, sebbene con limitazioni nel ragionamento matematico, e correla anche con la capacità del modello di ammettere l'ignoranza.
Il lavoro propone un metodo di filtraggio dei dati testuali basato sulle probabilità a priori dei token, che offre un'alternativa rapida ed efficace al calcolo della perplessità per la selezione dei corpus di addestramento, riducendo i costi computazionali di oltre 1000 volte e mantenendo alte prestazioni su benchmark downstream, codici e lingue multiple.
Questo articolo introduce un quadro teorico basato sulla complessità di Kolmogorov per definire obiettivi di lunghezza di descrizione asintoticamente ottimali per i Transformer, dimostrando la loro esistenza e analizzando un obiettivo variazionale pratico che, sebbene favorisca soluzioni a bassa complessità con forte generalizzazione, pone sfide significative per l'ottimizzazione standard.
Questo lavoro teorico analizza i vantaggi e le limitazioni dell'apprendimento per rinforzo nella pianificazione dei modelli linguistici, dimostrando che, sebbene superi la fine-tuning supervisionata grazie all'esplorazione, la politica di gradiente soffre di un collasso della diversità, mentre l'apprendimento Q offre vantaggi superiori nella preservazione della diversità e nell'apprendimento off-policy, a condizione di un'attenta progettazione della ricompensa.
Questo studio dimostra che la novità basata sugli n-grammi è una metrica inadeguata per valutare la creatività testuale, poiché ignora l'importanza dell'appropriatezza e rivela che, sebbene le espressioni ad alta novità siano spesso giudicate non creative o non pragmatiche, i modelli linguistici di frontiera riescono a identificare meglio la creatività rispetto alle metriche tradizionali basate sugli n-grammi.
Il paper introduce ManagerBench, un nuovo benchmark che valuta il compromesso tra sicurezza e pragmatismo nelle decisioni degli agenti LLM autonomi, rivelando come i modelli all'avanguardia spesso falliscano nel bilanciare obiettivi operativi e valori di allineamento, scegliendo azioni dannose o diventando eccessivamente prudenti.
Il paper introduce AccurateRAG, un nuovo framework che ottimizza l'intero ciclo di sviluppo delle applicazioni di domanda-risposta basate su RAG e ha dimostrato di superare le prestazioni degli stati dell'arte su dataset di benchmark.
Il paper propone Cache-to-Cache (C2C), un nuovo paradigma che permette la comunicazione semantica diretta tra modelli linguistici di grandi dimensioni (LLM) attraverso la fusione dei loro KV-cache, superando i limiti di latenza e perdita di informazioni del trasferimento testuale e ottenendo migliori prestazioni e velocità.
Il paper presenta LaDiR, un nuovo framework di ragionamento che potenzia i modelli linguistici di grandi dimensioni integrando la generazione autoregressiva con la capacità iterativa di raffinamento dei modelli di diffusione latente, permettendo così una pianificazione e revisione olistica dei processi di ragionamento che migliora accuratezza, diversità e interpretabilità.
Questo lavoro presenta Energy Landscape Steering (ELS), un framework senza riaddestramento che utilizza un modello energetico esterno per guidare dinamicamente le attivazioni interne dei modelli linguistici durante l'inferenza, riducendo significativamente i rifiuti eccessivi di richieste innocue mantenendo al contempo elevate prestazioni di sicurezza.
Questo studio dimostra che i modelli linguistici preaddestrati, inclusi i grandi modelli linguistici, falliscono nel distinguere i prestiti linguistici dal vocabolario nativo in dieci lingue, rivelando un pregiudizio verso i prestiti che ha implicazioni critiche per gli strumenti NLP dedicati alle lingue minoritarie.
Il paper presenta STARS, un nuovo algoritmo di allineamento per modelli linguistici di grandi dimensioni che supera i limiti delle tecniche esistenti basate sull'incertezza, garantendo un'esecuzione parallela sincrona, una rilevazione più robusta degli errori e una maggiore efficienza computazionale senza compromettere la qualità dell'allineamento.
Il paper propone un nuovo quadro concettuale che tratta l'ambiguità nelle query linguistiche per l'analisi di dati tabellari come una caratteristica cooperativa tra utente e sistema, evidenziando la necessità di distinguere tra query risolubili e non risolubili per migliorare la progettazione e la valutazione delle interfacce naturali.