4195 articoli
Il paper presenta HyWIA, un metodo innovativo per la potatura strutturata dei grandi modelli linguistici che, integrando valutazioni di importanza dei pesi a granularità fine e grossolana tramite un meccanismo di attenzione adattivo, supera le tecniche esistenti mantenendo prestazioni superiori nei compiti downstream.
Questo articolo sostiene che i grandi modelli linguistici possono fungere da modelli scientifici validi delle lingue pubbliche come entità sociali, difendendo tale posizione contro le critiche e proponendo un'interpretazione del modello basata sui recenti progressi nella comprensione del loro funzionamento interno.
Questo studio applica tecniche di machine learning spiegabile a un dataset di 28 anni nel Golfo di Trieste per prevedere con successo la tossicità delle cozze causata da fioriture algali, identificando specie specifiche e fattori ambientali come predittori chiave per migliorare i sistemi di allerta precoce e l'acquacoltura sostenibile.
Il paper propone un metodo innovativo che utilizza modelli linguistici su larga scala per guidare la ricerca evolutiva di politiche di controllo interpretabili, rappresentate come programmi in linguaggi standard come Python, per applicazioni in sistemi dinamici come l'oscillazione del pendolo e il gioco della pallina nella tazza.
Il paper presenta EoRA, un metodo senza riaddestramento che utilizza un'approssimazione a rango basso nello spazio degli autovettori per compensare la perdita di accuratezza nei modelli linguistici di grandi dimensioni compressi, offrendo al contempo un'implementazione ottimizzata che migliora le prestazioni e l'efficienza della memoria.
Questo articolo propone una pipeline generica per la pulizia dei token durante il fine-tuning supervisionato dei modelli linguistici, che seleziona finemente i token informativi filtrando quelli irrilevanti o dannosi basandosi sulla loro influenza sugli aggiornamenti del modello, migliorando così le prestazioni a valle.
Il paper presenta DIFU-Ada, un framework di adattamento a tempo di inferenza senza training che permette ai solver di ottimizzazione combinatoria basati su diffusione, addestrati esclusivamente sul problema del commesso viaggiatore, di generalizzare in modo zero-shot su diverse varianti e scale del problema senza richiedere conoscenze di dominio manuali.
Gli autori propongono un metodo che integra i diagrammi P&ID, rappresentati come grafi di conoscenza tramite il modello DEXPI, con i modelli linguistici di grandi dimensioni (LLM) tramite la tecnica Graph-RAG, consentendo così agli ingegneri di interagire con i diagrammi in linguaggio naturale per migliorare l'analisi dei processi e ridurre le allucinazioni dell'AI.
Questo paper introduce SCAM, il più ampio dataset di attacchi tipografici reali al mondo, dimostrando come tali manipolazioni compromettano significativamente le prestazioni dei modelli fondazionali multimodali e fornendo approfondimenti empirici per sviluppare sistemi di intelligenza artificiale più robusti e affidabili.
Questo articolo propone due nuovi algoritmi basati sui dati per determinare strategie ottimali di prezzo e gestione delle scorte in un ambiente offline caratterizzato da domanda censurata e dipendente, superando le sfide legate alla violazione della proprietà di Markov e alla mancanza di informazioni sui profitti attraverso l'approssimazione di un MDP di ordine superiore e l'analisi di sopravvivenza.
Il paper propone SwitchMT, un metodo innovativo che utilizza reti neurali spiking con dendriti attivi e una politica di commutazione dei compiti adattiva per migliorare l'apprendimento multi-task scalabile degli agenti autonomi, riducendo l'interferenza tra compiti senza aumentare la complessità della rete.
Questo articolo presenta una revisione sistematica del campo emergente della psicometria dei grandi modelli linguistici, integrando teorie e strumenti psicometrici per superare i limiti delle valutazioni tradizionali, definire nuovi principi di benchmarking e promuovere lo sviluppo di sistemi di intelligenza artificiale centrati sull'uomo.
Questo lavoro presenta REI-Bench, il primo benchmark per la pianificazione di compiti robotici che studia sistematicamente l'impatto delle istruzioni umane vaghe basate su espressioni referenziali, proponendo un metodo di cognizione contestuale orientata al compito che supera i limiti degli attuali modelli basati su LLM e rende i robot più accessibili a utenti non esperti come anziani e bambini.
Il paper propone un metodo di addestramento che migliora l'aderenza alle istruzioni dei modelli linguistici di grandi dimensioni, integrando rappresentazioni in pseudo-codice durante il fine-tuning, ottenendo significativi guadagni di performance su benchmark di istruzioni, ragionamento matematico e senso comune.
Questo studio presenta un'analisi basata sui dati e semi-automatizzata delle limitazioni dei grandi modelli linguistici (LLLMs) dal 2022 al 2025, rivelando una crescita esponenziale della ricerca in questo settore e identificando il ragionamento come la limitazione più studiata, pur con differenze nelle tendenze tematiche tra le pubblicazioni ACL e quelle di arXiv.
Questo paper propone un quadro di ragionamento abduttivo basato sulla coerenza che integra le previsioni di modelli pre-addestrati multipli in ambienti nuovi, utilizzando regole logiche per identificare e gestire errori percettivi, ottenendo così miglioramenti significativi nella precisione e nel richiamo rispetto ai singoli modelli e alle basi di ensemble standard.
Questo studio dimostra che, nel contesto della previsione delle vendite al dettaglio caratterizzata da dati intermittenti e mancanti, i metodi basati su ensemble come XGBoost superano le architetture di deep learning più complesse, suggerendo che la scelta del modello debba privilegiare l'adeguatezza alle caratteristiche del problema rispetto alla sofisticazione architetturale.
Il paper presenta SILVR, un metodo che permette a modelli video per la pianificazione robotica di migliorare continuamente le proprie prestazioni su compiti nuovi attraverso cicli di auto-miglioramento basati su dati raccolti autonomamente, senza richiedere dimostrazioni esperte o funzioni di ricompensa definite dall'uomo.
Il paper presenta ReLIFT, un nuovo approccio di addestramento che alterna l'apprendimento per rinforzo (RL) al fine-tuning supervisionato online per superare i limiti del RL nel gestire domande complesse, permettendo al modello di acquisire nuove conoscenze e ragionamenti con un'efficienza dei dati superiore rispetto ai metodi esistenti.
Questo articolo offre un'analisi completa dell'evoluzione e dell'integrazione della privacy differenziale nei modelli di machine learning, spaziando dai sistemi simbolici ai grandi modelli linguistici, con l'obiettivo di promuovere lo sviluppo di sistemi di intelligenza artificiale sicuri e responsabili.