1071 articoli
Il paper presenta MITRA, un assistente AI basato su Retrieval-Augmented Generation (RAG) ospitato on-premise per le collaborazioni scientifiche come CMS, che utilizza un'architettura a due livelli e tecniche di estrazione avanzate per recuperare in modo sicuro ed efficiente informazioni da vasti corpus di documentazione interna.
Il paper presenta One-Eval, un sistema agentic che automatizza la valutazione dei grandi modelli linguistici trasformando richieste in linguaggio naturale in flussi di lavoro eseguibili, tracciabili e personalizzabili, riducendo lo sforzo manuale e migliorando la riproducibilità nei contesti industriali.
Questo lavoro propone l'utilizzo degli alberi di Chow-Liu per determinare un ordinamento ottimale dei chunk nei framework di ragionamento multi-agente a catena, riducendo la perdita di informazioni e migliorando significativamente l'accuratezza nella risoluzione di query con contesti estesi rispetto alle strategie di ordinamento tradizionali.
Questo studio dimostra che i modelli linguistici le cui previsioni si allineano maggiormente alle statistiche n-gram sono anche quelli che meglio predicono i tempi di lettura, suggerendo che tale metrica è sensibile a pattern statistici semplici piuttosto che alla complessità dei moderni modelli transformer.
Il paper introduce DoWhatISay (DOWIS), un dataset multilingue di prompt parlati e scritti per valutare realisticamente i Modelli Linguistici a Grande Scala per la voce, rivelando che i prompt testuali superano quelli vocali tranne nei compiti con output vocale.
Questo studio valuta i rischi di persuasione politica di sette modelli linguistici all'avanguardia attraverso due esperimenti su 19.145 partecipanti, rivelando che questi modelli superano le pubblicità elettorali tradizionali, con Claude che risulta il più persuasivo e Grok il meno, mentre l'efficacia dei prompt basati su informazioni varia significativamente a seconda del modello.
Il paper propone MSSR, un framework di replay esperienziale che stima la forza della memoria a livello di campione e pianifica la ripetizione adattiva per mitigare l'oblio catastrofico durante il fine-tuning continuo dei grandi modelli linguistici, ottenendo prestazioni superiori rispetto agli approcci esistenti.
Questo studio dimostra che l'abilitazione del ragionamento nei modelli linguistici di grandi dimensioni migliora significativamente il richiamo della conoscenza parametrica anche per domande fattuali semplici, grazie a un effetto di buffer computazionale e a un meccanismo di priming fattuale, sebbene quest'ultimo comporti il rischio di allucinazioni che possono essere mitigate selezionando traiettorie prive di errori fattuali.
Questo articolo offre una panoramica completa del merging dei modelli nell'era dei grandi modelli linguistici, presentando la tassonomia FUSE per analizzare fondamenti teorici, strategie algoritmiche, scenari applicativi e l'ecosistema di supporto, con l'obiettivo di guidare ricercatori e professionisti verso lo sviluppo futuro di questa tecnologia.
Questo studio dimostra che, al contrario degli esseri umani, il processo di ragionamento aumenta la coerenza onesta nei modelli linguistici di grandi dimensioni, poiché lo spazio rappresentativo sottostante rende le risposte ingannevoli metastabili e più suscettibili di destabilizzazione rispetto a quelle oneste.
Il paper introduce CREATE, un benchmark progettato per valutare la capacità dei modelli linguistici di generare connessioni associative creative, specifiche e diversificate tra concetti, evidenziando come i modelli più avanzati ottengano risultati superiori ma come il compito rimanga complesso e difficile da saturare.
Questa rassegna esamina i recenti progressi dei grandi modelli linguistici (LLM), analizzando il loro background, le tecniche principali e le applicazioni in quattro aree chiave: pre-addestramento, adattamento, utilizzo e valutazione delle capacità, oltre a fornire risorse e discutere le sfide future.
Il paper introduce Agent-OM, un nuovo framework basato su agenti LLM che utilizza due agenti siamesi e strumenti specifici per il matching di ontologie, dimostrando prestazioni competitive su compiti semplici e significativamente superiori su compiti complessi e few-shot rispetto agli stati dell'arte attuali.
Questo studio presenta Llama-Mob, un modello LLM basato su Llama-3-8B e affinato tramite instruction tuning che supera gli stati dell'arte nella previsione a lungo termine della mobilità urbana e dimostra una forte capacità di generalizzazione zero-shot tra diverse città.
Questo articolo propone un modello integrato che spiega come l'identità del parlante influenzi la comprensione linguistica attraverso l'interazione tra processi percettivi basati sulla memoria acustico-episodica e aspettative top-down guidate da un modello del parlante, distinguendo tra effetti legati alla familiarità individuale e a gruppi demografici, e suggerendo l'estensione di tali ricerche agli interlocutori artificiali.
Il paper introduce un collo di bottiglia discreto chiave-valore (DKVB) per modelli linguistici encoder-only che, grazie a un'inizializzazione indipendente dal compito e aggiornamenti localizzati, permette un apprendimento continuo efficiente riducendo il dimenticamento catastrofico e mantenendo prestazioni competitive anche in scenari senza identificatore di task.
Il paper propone HarmonicEval, una metrica di valutazione automatica senza riferimento che aggrega i punteggi per criterio in modo bottom-up, e introduce il benchmark MMHE con 18.000 giudizi umani per dimostrare che il metodo supera le metriche convenzionali nella valutazione multi-task e multi-criterio dei modelli visione-linguaggio.
Questo studio esamina l'impatto del collasso degli embedding nel Prompt-Tuning, dimostrando che l'uso di priors di embedding permette un controllo efficace sulle posizioni degli embedding e rivela che le traiettorie generate formano cluster distinti per compiti diversi, suggerendo che la generalizzazione dei modelli linguistici non dipende necessariamente da un unico cluster di attivazione.
Il paper presenta un framework di ensemble basato su un singolo modello per la traduzione automatica neurale che, sfruttando la traduzione pivot per generare candidati diversificati e aggregarli successivamente, migliora la qualità della traduzione per le coppie linguistiche a risorse limitate riducendo al contempo i costi computazionali.
Il paper introduce GRADIEND, un nuovo approccio encoder-decoder che utilizza i gradienti delle reti neurali per identificare e modificare i pesi responsabili dei pregiudizi sociali, consentendo di debiasare i modelli mantenendone le altre capacità.