2385 articoli
Il paper introduce HTMuon, un metodo di ottimizzazione basato sulla teoria della regolarizzazione auto-organizzata a code pesanti che migliora l'algoritmo Muon correggendo spettri pesanti e riducendo la perplessità nel pre-addestramento di LLM e nella classificazione di immagini.
Il paper introduce ADVERSA, un framework di red-teaming automatizzato che misura il degrado continuo delle difese dei modelli linguistici durante interazioni multi-turno, rivelando che la maggior parte dei jailbreak avviene nelle prime fasi e fornendo una valutazione rigorosa dell'affidabilità dei giudici.
Questo studio applica per la prima volta autoencoder sparsi al modello Chronos-T5, rivelando una gerarchia causale delle caratteristiche temporali in cui i livelli intermedi, dedicati alla rilevazione di cambiamenti bruschi, sono più critici per le previsioni rispetto ai livelli finali ricchi di concetti semantici.
Questo studio analizza i limiti dei modelli linguistici nella generazione automatica di patch di sicurezza per vulnerabilità Java, rivelando che, sebbene preservino spesso la funzionalità, falliscono prevalentemente nel comprendere la semantica corretta delle riparazioni, ottenendo un basso punteggio di sicurezza che ne richiede una validazione rigorosa prima del dispiegamento.
Il paper descrive un compito minimo che dimostra come le reti neurali apprendano inizialmente la distribuzione marginale, stabilizzandosi su un plateau di errore pari a log K, prima di subire una transizione collettiva verso l'apprendimento completo della condizionale, un processo governato dal rumore del gradiente e preceduto dall'assemblaggio interno di un meccanismo di routing.
Il paper propone TASER, un nuovo framework di difesa decentralizzato per sciami di UAV che sfrutta l'analisi della concentrazione spettrale dei gradienti per sopprimere efficacemente attacchi backdoor stealthy, superando i limiti dei metodi basati sul rilevamento degli outlier.
Il documento presenta "Amnesia", un attacco avversario leggero che manipola gli stati interni dei transformer per aggirare i meccanismi di sicurezza dei modelli linguistici open-weight, permettendo loro di generare contenuti dannosi senza necessità di ulteriore addestramento.
Il paper introduce Multi-Level Concept Splitting (MLCS) e Deep-HiCEMs, un approccio che scopre gerarchie concettuali multi-livello partendo da supervisione di alto livello e permette interventi a diversi livelli di astrazione, superando i limiti dei modelli precedenti che gestivano solo gerarchie superficiali.
Il paper presenta KernelSkill, un framework multi-agente che migliora l'ottimizzazione dei kernel GPU sostituendo le euristiche implicite dei modelli linguistici con competenze esperte guidate dalla conoscenza e una memoria duale, ottenendo risultati superiori rispetto alle soluzioni precedenti.
Il paper presenta ES-dLLM, un framework di inferenza senza addestramento che accelera i modelli di linguaggio a diffusione (dLLM) saltando i token meno importanti nei livelli iniziali, ottenendo un significativo aumento della velocità di generazione senza compromettere la qualità.
Questo paper propone un attacco di perturbazione multi-stream che sfrutta l'interferenza tra compiti concorrenti per compromettere l'allineamento alla sicurezza dei modelli LLM in modalità "pensante", causando il collasso del processo di ragionamento e ottenendo tassi di successo elevati nelle evasioni di sicurezza.
Il paper propone l'Esecuzione Consapevole della Sopravvivenza (SAE), un middleware che protegge i sistemi di trading crypto agenziali basati su OpenClaw e skill esterne, trasformando l'esecuzione in un nuovo punto di attacco da difendere attraverso vincoli ineludibili che riducono drasticamente il rischio di perdita e migliorano la resilienza contro manipolazioni e supply chain compromesse.
Il paper introduce Equivariant Asynchronous Diffusion (EAD), un modello di diffusione innovativo che combina schedule di denoising asincrone e dinamiche per catturare le gerarchie molecolari e accelerare la generazione di conformazioni 3D, ottenendo prestazioni all'avanguardia.
Il paper introduce CSRO, un nuovo framework che sostituisce gli oracoli di apprendimento per rinforzo con modelli linguistici di grandi dimensioni per generare politiche multi-agente interpretabili sotto forma di codice, superando così il problema delle "scatole nere" tipico dei metodi tradizionali.
Il paper propone un paradigma di "sparsità morbida" basato su un proxy hardware efficiente dei bit più significativi, integrato come istruzione RISC-V, che riduce drasticamente le operazioni MAC e il consumo energetico nelle CNN senza compromettere l'accuratezza, superando di cinque volte le tecniche tradizionali di skipping degli zeri.
Il paper presenta CLIPO, un metodo che integra l'apprendimento contrastivo nell'ottimizzazione della politica per generalizzare il Reinforcement Learning con Ricompense Verificabili (RLVR), correggendo le allucinazioni e migliorando la robustezza dei modelli linguistici grandi (LLM) garantendo la coerenza dei passaggi intermedi di ragionamento oltre alla sola correttezza della risposta finale.
Questo paper dimostra che il fenomeno "Lost in the Middle", caratterizzato da una curva di performance a U, è una proprietà geometrica intrinseca dell'architettura del decoder causale con connessioni residue presente già all'inizializzazione, indipendentemente dall'addestramento o dalle codifiche posizionali.
Il paper propone AR-VLA, un esperto di azioni autoregressivo autonomo che, grazie a una memoria a lungo termine e a un meccanismo di riancoraggio, genera azioni continue e coerenti nel tempo superando i limiti di frequenza e coerenza dei modelli VLA reattivi esistenti, ottenendo risultati superiori in compiti di manipolazione robotica.
Il paper propone un sistema basato su agenti AI specializzati che automatizza il miglioramento dei prodotti dati attraverso un ciclo di ottimizzazione continuo, monitorando metriche di qualità e integrando il controllo umano per bilanciare automazione e affidabilità.
Questo articolo individua sei dimensioni fondamentali, tra cui due nuove (direzionalità e temporalità), che rivelano l'asimmetria operativa tra generazione e riconoscimento nella teoria dei linguaggi formali, sfatando il mito che la generazione sia intrinsecamente semplice e collegando tale asimmetria temporale al framework della sorpresa, anche nel contesto dei moderni modelli linguistici.