12779 articoli
Questo articolo presenta PPO-LTL, un framework che integra vincoli di Logica Temporale Lineare (LTL) nell'algoritmo Proximal Policy Optimization per garantire l'apprendimento per rinforzo sicuro, traducendo le violazioni in segnali di penalità tramite automi di Büchi e ottimizzando la politica con uno schema Lagrangiano.
Questo lavoro analizza teoricamente e verifica sperimentalmente come la qualità e la scala dei dati influenzino diversamente l'addestramento pre- e post-training dei modelli linguistici, dimostrando che il fine-tuning supervisionato beneficia di piccoli set di esempi difficili mentre il reinforcement learning richiede grandi volumi di dati meno complessi.
Lo studio rivela che i classificatori di sicurezza addestrati su embedding fissi subiscono un collasso catastrofico a causa della deriva delle rappresentazioni nei modelli di ragionamento istruiti, generando fallimenti silenziosi ad alta confidenza e rendendo paradossalmente più difficile proteggere i sistemi allineati rispetto a quelli di base.
Il paper propone due nuovi metodi di regolarizzazione non convessa, LogLOP-l2/l1 e AdaLOP-l1/l2, basati su formulazioni variazionali delle penalità log-sum e MCP per il recupero di segnali blocchi-sparsi con partizioni sconosciute, sviluppando algoritmi ADMM efficienti che superano gli approcci esistenti in termini di accuratezza e compatibilità con diverse funzioni di fedeltà ai dati.
Questo lavoro propone un quadro unificato di ottimizzazione prossimale, accelerabile su GPU e a convergenza lineare, per certificare l'ottimalità nei modelli lineari generalizzati sparsi, superando i limiti computazionali dei metodi esistenti attraverso nuove routine log-lineari e uno schema di riavvio basato sul gap di dualità.
Questo articolo esamina i progressi compiuti tra il 2018 e il 2025 nelle garanzie PAC per l'apprendimento per rinforzo, proponendo il nuovo framework CSO (Copertura-Struttura-Obiettivo) come strumento interpretativo per analizzare la complessità dei campioni, classificare i risultati teorici e fornire strumenti pratici per gli utenti.
Lo studio dimostra che, per la previsione del movimento pedonale in contesti ad alta frequenza, un modello ResLogit che apprende le correlazioni spaziali tramite correzioni residue supera le strutture GEV tradizionali, offrendo un migliore adattamento ai dati e un'interpretazione coerente degli errori.
Il paper introduce "Truth as a Trajectory" (TaT), un metodo che analizza le variazioni geometriche degli stati nascosti tra i livelli dei modelli linguistici invece delle attivazioni statiche, permettendo di distinguere il ragionamento valido dai comportamenti spurii e superando i limiti dei metodi di spiegabilità tradizionali.
Il paper presenta SWE-Adept, un framework basato su agenti LLM che migliora l'analisi e la risoluzione strutturata dei problemi nei repository di codice attraverso un agente di localizzazione con ricerca in profondità guidata e un agente di risoluzione dotato di pianificazione adattiva e controllo versione Git, ottenendo risultati superiori su SWE-Bench.
Il paper presenta MetaState, un'architettura di memoria ricorrente leggera che risolve il problema delle "Isole di Informazione" nei modelli di diffusione linguistica discreta, migliorando la coerenza e la qualità della generazione mantenendo il modello di base congelato.
Il paper introduce ICPO, un metodo che permette ai modelli linguistici di ottimizzare le proprie risposte durante l'inferenza senza modificare i parametri, e propone l'algoritmo ME-ICPO che, supportato da una dimostrazione teorica, raggiunge prestazioni d'eccellenza nel ragionamento matematico garantendo robustezza ed efficienza nei costi.
Questo lavoro introduce un quadro adattivo basato sul principio di discrepanza per la selezione automatica degli iperparametri in modelli di momenti condizionali mal posti, consentendo stime e inferenze ottimali senza richiedere la conoscenza preventiva della regolarità della funzione di disturbo.
Questo lavoro propone un quadro teorico e pratico per stimare gli effetti causali specifici sugli esseri umani in sistemi interagenti con l'IA, dove né i tipi di unità né la rete di interazione sono osservabili, sfruttando una conoscenza a priori della composizione della popolazione e un framework di passaggio di messaggi causali per identificare gli effetti attraverso subpopolazioni aggregate.
Questo lavoro introduce il framework di "relatively smart learning", che supera le limitazioni dell'apprendimento PAC intelligente tradizionale richiedendo ai learner supervisionati di competere solo con le migliori garanzie semi-supervisionate "certificabili", dimostrando così che tale rilassamento permette di aggirare i risultati di impossibilità precedenti.
Il paper presenta UTICA, un modello fondazionale per la classificazione delle serie temporali basato su auto-distillazione multi-obiettivo in stile DINOv2, che combina invarianza temporale e struttura locale per raggiungere prestazioni all'avanguardia sui benchmark UCR e UEA.
Questo studio presenta un metodo generale per costruire dataset di istruzioni sintetiche di alta qualità partendo dal vocabolario specifico di un settore, dimostrando nel dominio finanziario giapponese come l'uso di tracce di ragionamento (Chain-of-Thought) su larga scala migliori le capacità di ragionamento dei modelli linguistici, con risorse ora open-source.
Il paper propone Fed-GAME, un framework di apprendimento federato personalizzato che utilizza un grafo implicito dinamico e un aggregatore Mixture-of-Experts con attenzione grafica per migliorare le previsioni delle serie temporali in ambienti eterogenei, superando i limiti delle topologie statiche.
Il paper propone il metodo TACPO, basato su vincoli di ottimizzazione della politica allineati al vantaggio tramite variazione totale, per mitigare il ritardo della politica (policy lag) nei sistemi di apprendimento per rinforzo on-policy distribuiti e ad alta frequenza di aggiornamento, migliorando così le prestazioni sia in compiti classici che nel ragionamento matematico con LLM.
Il paper propone il Causal Neural Probabilistic Circuit (CNPC), un modello che integra predittori neurali con circuiti probabilistici causali per migliorare l'interpretabilità e l'accuratezza dei Concept Bottleneck Models gestendo correttamente le dipendenze causali durante le interventi, superando così i limiti dei metodi tradizionali che ignorano tali relazioni.
Il paper presenta ROSA2, un framework che migliora l'adattamento delle LLM durante l'inferenza in interazioni multi-turno ottimizzando sinergicamente sia le istruzioni testuali che i pesi del modello, riducendo così significativamente gli errori e il numero di turni necessari rispetto agli approcci esistenti.