1077 articoli
Lo studio dimostra che i modelli linguistici possono essere addestrati a rilevare con alta precisione l'iniezione di vettori di steering, sfatando l'ipotesi che tale intervento rimanga impercettibile e rivelando che la capacità di rilevamento non garantisce affatto una maggiore robustezza comportamentale contro le manipolazioni.
Il paper presenta FlyThinker, un framework efficiente che integra un modello di ragionamento parallelo durante la generazione per migliorare la personalizzazione nella produzione di testi lunghi, superando i limiti dei metodi statici "pensare-poi-generare" mantenendo al contempo l'efficienza nell'addestramento e nell'inferenza.
Il paper presenta ReFusion, un modello di linguaggio basato sulla diffusione che supera i limiti computazionali e di coerenza dei modelli precedenti integrando la riorganizzazione della sequenza nel framework dell'attenzione causale, ottenendo così un decodifica parallelo con caching KV completo che garantisce sia un significativo aumento delle prestazioni rispetto ai modelli diffusion esistenti, sia un vantaggio di velocità rispetto ai modelli autoregressivi tradizionali.
Il paper presenta RePo, un nuovo meccanismo che riduce il carico cognitivo estraneo nei modelli linguistici di grandi dimensioni riorganizzando dinamicamente le posizioni dei token per migliorare l'apprendimento in contesto, specialmente in scenari con contesti rumorosi, dati strutturati e lunghe sequenze.
Il paper presenta MCP-SafetyBench, un benchmark completo basato su server MCP reali che valuta la sicurezza dei modelli linguistici di grandi dimensioni in scenari multi-turno e multi-dominio, rivelando che tutti i modelli testati rimangono vulnerabili agli attacchi MCP e sottolineando l'urgenza di sviluppare difese più robuste.
Questo studio propone un framework a tre livelli per valutare se i Large Language Models possano fungere da modelli del mondo basati sul testo, dimostrando che, sebbene possano migliorare le prestazioni degli agenti attraverso la verifica delle azioni e la generazione di traiettorie sintetiche, il loro successo dipende criticamente dalla copertura comportamentale e dalla complessità dell'ambiente.
Il paper propone Parallel Token Prediction (PTP), un framework che accelera il decoding dei modelli linguistici prevedendo più token in un'unica chiamata trasformando la casualità in input deterministici, ottenendo un speedup di 2,4 volte rispetto alle tecniche tradizionali.
Questo studio dimostra che l'uso di strumenti esterni e pianificazione durante l'inferenza migliora significativamente l'accuratezza dei grandi modelli linguistici in compiti di ragionamento strutturato come Event-QA, ma comporta costi e latenze elevati che spesso non giustificano i benefici in scenari più semplici come la generazione di risposte persuasive, evidenziando la necessità di scelte strategiche basate su costi e complessità del compito.
Il paper presenta NeuronLLM, un nuovo framework che identifica le "neuroni buoni" e "cattivi" nei Large Language Models tramite apprendimento contrastivo e il principio di antagonismo funzionale, superando i limiti dei metodi esistenti per un controllo più efficace a livello di compito.
Il paper presenta F-Actor, il primo modello conversazionale vocale full-duplex open-source e istruito che, grazie a un efficiente protocollo di addestramento su risorse accademiche, permette un controllo dinamico e personalizzabile del comportamento conversazionale, inclusi tono di voce, topic e interazioni come i backchannel e le interruzioni.
Il documento dimostra come i grandi modelli linguistici siano in grado di estrarre significato da testi privi di senso sostituendo parole con stringhe casuali, evidenziando che l'efficacia del pattern matching non è un'alternativa all'intelligenza, ma un suo ingrediente fondamentale.
Il paper introduce Yuan3.0 Ultra, un modello linguistico open-source di grandi dimensioni basato su una miscela di esperti (MoE) con 1010 miliardi di parametri totali e 68,8 miliardi attivati, che utilizza il nuovo algoritmo LAEP per ottimizzare l'efficienza del pre-addestramento e raggiungere prestazioni leader in scenari aziendali.
Questo studio valuta la capacità dei modelli fondazionali di riconoscere i momenti cruciali nelle partite di calcio, rivelando che le prestazioni attuali sono vicine al caso a causa della loro dipendenza da una singola modalità e della scarsa capacità di sintesi multimodale, sottolineando la necessità di architetture modulari e procedure di training complementari.
Il paper introduce l'On-Policy Self-Distillation (OPSD), un framework in cui un singolo modello linguistico grande agisce sia come insegnante che come studente condizionando contesti diversi (con o senza tracce di ragionamento privilegiate) per migliorare l'efficienza e le prestazioni nel ragionamento matematico, superando i metodi di distillazione off-policy e di apprendimento per rinforzo.
Il paper presenta VIP, una strategia di allocazione adattiva dei rollout basata su un modello predittivo per minimizzare la varianza del gradiente e migliorare l'efficienza del campionamento nell'apprendimento per rinforzo online con ricompense verificabili.
Il paper introduce LatentChem, un'interfaccia di ragionamento latente che disaccoppia il calcolo chimico dalla generazione testuale, permettendo ai modelli di eseguire inferenze complesse direttamente nello spazio latente continuo e ottenendo prestazioni superiori e un significativo aumento della velocità rispetto ai metodi basati su Chain-of-Thought esplicito.
Questo articolo dimostra come i Sistemi di Dialogo Guidati da Schema (SGD) e il Modello di Contesto (MCP) convergano in un paradigma unificato per l'interazione deterministica con gli agenti LLM, proponendo cinque principi fondamentali di progettazione degli schemi per colmare le lacune attuali e abilitare un governo scalabile dei sistemi di intelligenza artificiale.
Questo studio presenta un framework di "red teaming" clinico automatizzato che, attraverso simulazioni su larga scala con pazienti virtuali, rivela gravi rischi di sicurezza negli attuali modelli linguistici per la salute mentale, come la convalida di deliri e il fallimento nella gestione del rischio suicidario, sottolineando la necessità di tali valutazioni prima del loro impiego.
Il paper presenta JAILBREAK FOUNDRY, un sistema multi-agente che automatizza la traduzione delle tecniche di jailbreak da articoli accademici a moduli eseguibili per garantire benchmark di sicurezza riproducibili, coerenti e aggiornati per i modelli linguistici su larga scala.
Il paper introduce ReGFT, un metodo che utilizza soluzioni di riferimento parziali per generare traiettorie di ragionamento all'interno dello spazio del modello, superando la sparsità dei reward e migliorando significativamente le prestazioni del Reinforcement Learning nel ragionamento matematico.