2325 articoli
Il paper introduce EsoLang-Bench, un nuovo benchmark basato su linguaggi di programmazione esotici privi di incentivi economici per l'addestramento, che rivela come i modelli linguistici di frontiera, nonostante le alte prestazioni sui test standard, falliscano nel dimostrare un ragionamento genuino quando devono apprendere nuovi linguaggi tramite documentazione e feedback.
Questo studio empirico dimostra che il fenomeno della "catastrophic forgetting" nel fine-tuning efficiente basato su decomposizione a rango basso è fortemente influenzato dalla geometria e dalla parametrizzazione dello spazio di aggiornamento, evidenziando come le decomposizioni tensoriali e le parametrizzazioni allineate strutturalmente offrano soluzioni superiori rispetto ai metodi tradizionali per preservare le conoscenze pregresse nell'apprendimento sequenziale.
Il paper introduce ActiveUltraFeedback, una pipeline di apprendimento attivo modulare che riduce significativamente i costi di annotazione dei dati di preferenza per l'allineamento dei modelli linguistici, ottenendo prestazioni superiori o paragonabili a quelle dei metodi statici con solo un sesto dei dati necessari.
Il paper presenta PF-PINO, un operatore neurale informato dalla fisica che supera i limiti dei metodi tradizionali nel modellare l'evoluzione parametrica dei campi di fase, garantendo maggiore accuratezza, generalizzazione e stabilità a lungo termine attraverso l'incorporazione dei vincoli fisici nel processo di apprendimento.
Il paper propone Mousse, un nuovo ottimizzatore che combina la stabilità spettrale di Muon con l'adattabilità geometrica di Shampoo tramite una precondizionamento consapevole della curvatura, ottenendo una riduzione del 12% dei passi di addestramento per modelli linguistici senza sovraccarichi computazionali significativi.
Questo articolo propone un approccio di distillazione della conoscenza federata guidato da multi-prototipi (MP-FedKD) per sistemi MEC abilitati all'AI-RAN, che risolve il problema dei dati non IID evitando la perdita di informazioni tipica delle strategie a singolo prototipo attraverso l'uso di un clustering gerarchico agglomerativo condizionale, un allineamento dei prototipi e una nuova funzione di perdita.
Questo studio deriva nuovi limiti superiori di generalizzazione PAC per gli oscillatori neurali basati su equazioni differenziali ordinarie del secondo ordine, dimostrando teoricamente e validando numericamente che la regolarizzazione dei Lipschitz delle reti MLP mitiga la complessità parametrica e migliora le prestazioni nell'approssimazione di sistemi strutturali non lineari.
Il documento stabilisce teoremi di approssimazione universale globale su spazi di percorsi lineari a tratti, dimostrando che i funzionali lineari delle firme discrete sono densi rispetto alle norme e pesate, e applica questi risultati all'approssimazione di funzionali dipendenti dal percorso, equazioni differenziali ordinarie casuali e equazioni differenziali stocastiche guidate dal moto browniano.
Questo lavoro evidenzia come i metodi di intelligenza artificiale spiegabile (XAI) trascurino spesso le "assenze codificate" nei neuroni, proponendo estensioni per rivelare questi concetti mancanti e migliorare sia l'interpretabilità dei modelli che le tecniche di debiasing.
Questo articolo propone un nuovo framework ibrido quantistico-classico che combina una rete LSTM con una Quantum Circuit Born Machine per migliorare l'accuratezza delle previsioni di volatilità finanziaria, dimostrando risultati superiori rispetto ai modelli classici puri su dati reali del mercato cinese.
Il paper propone ACP-SL, uno schema di apprendimento diviso che riduce l'overhead di comunicazione comprimendo i dati intermedi tramite una potatura adattiva dei canali basata su un punteggio di importanza consapevole dell'etichetta, ottenendo al contempo una maggiore accuratezza e un numero inferiore di round di addestramento rispetto alle soluzioni esistenti.
Questo articolo presenta -GaBO, una nuova famiglia di algoritmi di ottimizzazione bayesiana definita sul semplice di probabilità che, sfruttando la geometria dell'informazione per costruire kernel e ottimizzatori geometrici, supera le prestazioni degli approcci euclidei vincolati in applicazioni reali come miscele di componenti, classificatori e controllo robotico.
Il paper propone l'In-Context RLVR, un metodo che migliora l'apprendimento per rinforzo nei modelli linguistici valutando implicitamente la qualità del ragionamento attraverso il "Guadagno di Evidenza", permettendo così di dare più peso alle soluzioni corrette ma ben argomentate rispetto a quelle ottenute per caso.
Il paper propone il "pseudo-proiettore", una modifica leggera ispirata al paradigma multigriglia che corregge le rappresentazioni nascoste dei modelli basati su transformer riducendo la sensibilità al rumore e migliorando la dinamica di addestramento e la robustezza senza alterare l'architettura di base.
Questo articolo presenta un nuovo framework gerarchico multi-task e multi-fidelity per la modellazione surrogata basata su processi gaussiani, che integra informazioni tra compiti correlati e livelli di fedeltà variabili per migliorare l'accuratezza predittiva e la quantificazione dell'incertezza in contesti manifatturieri con dati eterogenei.
Questo articolo presenta HR-GAT, un modello di rete neurale a attenzione gerarchica basato su grafi che utilizza dati geospaziali per prevedere la domanda di spettro radio, dimostrando una precisione superiore del 21% rispetto ad altri modelli in cinque città canadesi.
Il paper propone GAST, un metodo innovativo di fine-tuning efficiente che supera i limiti delle approcci esistenti integrando la selezione simultanea di dati e strati tramite un allineamento dei gradienti per ottimizzare l'aggiornamento dei parametri nei grandi modelli linguistici.
Il documento presenta CarbonBench, il primo benchmark globale che utilizza oltre 1,3 milioni di osservazioni da 567 siti per valutare e confrontare sistematicamente le prestazioni dei modelli di apprendimento zero-shot nell'upscaling dei flussi di carbonio terrestri attraverso ecosistemi e climi diversi.
Il paper propone MSSR, un framework di replay esperienziale che stima la forza della memoria a livello di campione e pianifica la ripetizione adattiva per mitigare l'oblio catastrofico durante il fine-tuning continuo dei grandi modelli linguistici, ottenendo prestazioni superiori rispetto agli approcci esistenti.
Il paper introduce OptEMA, un nuovo ottimizzatore adattivo basato sulla media mobile esponenziale che, operando in modo chiuso e senza richiedere la costante di Lipschitz, garantisce un tasso di convergenza quasi ottimale nella regime a rumore nullo e una convergenza adattiva al rumore in condizioni stocastiche standard.