1071 articoli
Questo lavoro dimostra che l'uso della Low-Rank Adaptation (LoRA) nel federated learning per i grandi modelli linguistici riduce significativamente la memorizzazione involontaria dei dati di addestramento, migliorando la privacy senza compromettere le prestazioni.
Il paper presenta LaVCa, un approccio basato su modelli linguistici di grandi dimensioni (LLM) che genera didascalie naturali per descrivere con maggiore precisione e dettaglio la selettività dei voxel nella corteccia visiva umana, superando i limiti dei modelli di codifica tradizionali e rivelando nuove sfumature nella rappresentazione visiva del cervello.
Il paper propone il framework COD (Clustering-On-Difficulty), che raggruppa i compiti in base alle loro caratteristiche di scalabilità per prevedere con alta precisione le prestazioni downstream dei grandi modelli linguistici, superando le sfide poste dai fenomeni emergenti e dalla variabilità delle metriche.
Il paper propone HaLoRA, un metodo di adattamento a basso rango consapevole dell'hardware che combina architetture di calcolo in memoria ibride (RRAM per i pesi preaddestrati e SRAM per i rami LoRA) con una nuova strategia di addestramento robusto al rumore, ottenendo un drastico risparmio energetico (circa il 3% rispetto a una GPU Nvidia A100) e un miglioramento delle prestazioni fino al 22,7% su modelli LLM come Qwen e LLaMA.
Questo studio rivela che, nonostante i modelli linguistici di grandi dimensioni generino una sovrarappresentazione femminile nelle storie, le distribuzioni occupazionali prodotte rimangono allineate agli stereotipi di genere umani piuttosto che ai dati reali, evidenziando un paradosso che richiede strategie di mitigazione più equilibrate.
Il paper presenta EDU-PRM, un modello di ricompensa per processi basato sull'entropia che segmenta automaticamente i passaggi di ragionamento complesso senza annotazioni manuali, ottenendo prestazioni superiori su ProcessBench con solo l'1,5% dei dati di addestramento e riducendo significativamente l'uso di token.
Il paper introduce CAWAI, un modello di recupero che combina obiettivi semantici e causali per superare i limiti delle attuali tecniche di ricerca basate sulla semplice similarità superficiale, dimostrando prestazioni superiori in compiti di recupero causale e una forte capacità di generalizzazione zero-shot in domini scientifici.
Questo studio dimostra che l'uso di modelli linguistici di grandi dimensioni (LLM) per estrarre caratteristiche cognitive e linguistiche, successivamente elaborate da algoritmi di apprendimento automatico basati su alberi decisionali, consente di stimare con maggiore precisione la difficoltà degli item nei test scolastici rispetto alla valutazione diretta, offrendo un'alternativa efficiente e scalabile ai costosi test sul campo.
Questo documento presenta il Task 5 della sfida DCASE 2025, un benchmark per la risposta alle domande audio (AQA) che valuta la capacità di ragionamento acustico dei modelli linguistico-audio su tre sottogruppi di domini diversi, fornendo dataset, protocolli di valutazione e risultati preliminari di sistemi baselines.
Il paper presenta FreeKV, un framework di co-ottimizzazione algoritmo-sistema privo di addestramento che migliora l'efficienza del recupero della cache KV mantenendo un'accuratezza quasi perfetta e ottenendo fino a 13 volte di velocità rispetto ai metodi esistenti.
Questo studio presenta un approccio neuro-simbolico che combina l'uso di problemi analoghi e un verificatore formale per guidare e correggere i modelli linguistici, migliorando significativamente l'accuratezza nella generazione di prove geometriche rigorose.
Il paper introduce MAS-ZERO, il primo framework di auto-evoluzione che progetta sistemi multi-agente senza supervisione esterna, adattando dinamicamente ruoli e protocolli durante l'inferenza per ottenere prestazioni superiori rispetto ai metodi manuali e automatici esistenti.
Il paper presenta HDLxGraph, un nuovo framework che integra le caratteristiche grafiche intrinseche dei linguaggi HDL (tramite AST e DFG) nei sistemi RAG per migliorare significativamente le prestazioni di ricerca, debug e completamento del codice rispetto agli approcci basati sulla similarità semantica, supportato dal nuovo benchmark HDLSearch.
Il paper presenta SwingArena, un framework di valutazione competitiva per i modelli linguistici su larga scala che simula flussi di lavoro reali di sviluppo software attraverso un processo iterativo di sottomissione e revisione, supportato da un modulo di generazione del codice potenziato dal recupero (RACG) per gestire contesti estesi e risolvere issue di GitHub.
Il paper introduce MMTU, un nuovo benchmark su larga scala con oltre 28.000 domande su 25 compiti reali, progettato per valutare in modo completo le capacità di comprensione, ragionamento e manipolazione delle tabelle da parte dei modelli linguistici, rivelando che anche i modelli più avanzati attuali hanno ancora margini significativi di miglioramento in questo dominio.
Il paper introduce CyclicReflex, una strategia di decodifica priva di addestramento che migliora le prestazioni dei modelli di ragionamento adattando ciclicamente la frequenza dei token di riflessione per bilanciare l'uso della risorsa computazionale e superare i limiti dell'eccessiva o insufficiente riflessione.
Il paper introduce MeRF, un metodo che migliora l'addestramento per rinforzo dei grandi modelli di ragionamento fornendo loro una "motivazione" testuale esplicita delle regole di ricompensa nel prompt, sfruttando così l'apprendimento in contesto per allineare la generazione alle ottimizzazioni desiderate.
Questo paper introduce SGV, un metodo di verifica auto-fondato che mitiga il bias di accordo nei modelli linguistici multimodali, migliorando significativamente l'individuazione degli errori e le prestazioni dei agenti in compiti di navigazione web, uso del computer e robotica.
Questo articolo presenta UGST, un nuovo framework che risolve il problema della scarsa coerenza negli obiettivi dei simulatori di utenti basati su LLM, migliorando significativamente le loro prestazioni attraverso un monitoraggio dello stato degli obiettivi e una metodologia di valutazione su benchmark consolidati.
Il paper presenta MathSmith, un nuovo framework che genera problemi matematici sintetici ad alta difficoltà partendo da zero e ottimizzandoli tramite apprendimento per rinforzo, superando i metodi esistenti e migliorando le capacità di ragionamento dei modelli linguistici su benchmark complessi.