8660 articoli
Questo lavoro presenta un framework di annotazione basato su grafi per le narrazioni economiche che integra l'analisi qualitativa dei contenuti per ridurre gli errori, dimostrando attraverso un esperimento fattoriale che le rappresentazioni localmente vincolate e le metriche di distanza appropriate migliorano l'accordo tra annotatori e la gestione della variazione umana nell'etichettatura.
Questo lavoro propone un modello statistico basato sulla fattorizzazione tensoriale che combina valutazioni automatiche a basso costo con un limitato set di dati umani per ottenere valutazioni granulari ed efficienti delle prestazioni dei modelli generativi, superando i colli di bottiglia dei dati e fornendo stime accurate delle preferenze umane senza necessità di nuove annotazioni.
Questo lavoro definisce l'inferenza federata come un paradigma collaborativo distinto per l'addestramento, analizzandone i requisiti fondamentali, i compromessi strutturali e le sfide pratiche per realizzare sistemi di inferenza collaborativa che preservino la privacy e allineino gli incentivi.
Questo lavoro dimostra che esiste un divario esponenziale tra le due forme di potatura, rivelando che la potatura strutturata (neuroni) richiede un numero di neuroni nascosti proporzionale a per approssimare un singolo neurone ReLU, mentre la potatura non strutturata (pesi) necessita solo di neuroni.
Questo lavoro presenta uno studio unificato che esamina sistematicamente le interazioni tra il parametro di temperatura e altri elementi di addestramento nella distillazione della conoscenza, fornendo linee guida pratiche per la sua selezione ottimale.
Questo articolo propone un nuovo paradigma per l'apprendimento causale che integra piattaforme di crowdsourcing, modelli di esperti umani e agenti LLM in un framework distribuito per sintetizzare conoscenze frammentarie e ricostruire strutture causali globali altrimenti irraggiungibili.
Il lavoro introduce Probe-Select, un modulo plug-in che valuta la qualità delle immagini generata dai modelli di diffusione testo-immagine analizzando le attivazioni intermedie precoci, permettendo di terminare i campioni promettenti in anticipo e riducendo così i costi di calcolo del 60% senza modificare il modello generativo sottostante.
Questo lavoro propone un approccio di apprendimento per processi decisionali di Markov con dinamiche esogene che, sfruttando la struttura in cui solo una parte dello stato è influenzata dall'agente, ottiene garanzie di regret ottimali e una maggiore efficienza nel campionamento rispetto ai metodi standard.
Il paper presenta AriadneMem, un sistema di memoria strutturato per agenti LLM che risolve i problemi di evidenze disconnesse e aggiornamenti di stato tramite un processo a due fasi, ottenendo significativi miglioramenti nell'accuratezza e una drastica riduzione dei tempi di esecuzione e dell'uso del contesto.
Questo lavoro presenta un'architettura ibrida di LLM, ottimizzata tramite fine-tuning su dati agricoli curati e un livello di sintesi sicuro, che migliora l'accuratezza fattuale e la pertinenza culturale dei consigli per gli agricoltori indiani riducendo al contempo i costi e i rischi di allucinazione.
Il paper propone TTSR, un framework di auto-riflessione a tempo di test che utilizza un ciclo continuo tra ruoli di "Studente" e "Insegnante" per generare domande varianti mirate alle debolezze di ragionamento, migliorando così le prestazioni dei modelli linguistici su compiti matematici complessi.
Questo articolo esplora le sfide e le soluzioni per la cache semantica negli LLM, dimostrando la complessità NP-difficile della politica offline ottimale e proponendo nuove euristiche online che migliorano l'accuratezza semantica rispetto ai metodi basati sulla frequenza.
Il paper presenta un'architettura duale che unifica l'elaborazione di testi e dati strutturati (grafi di conoscenza e ipergrafi) tramite un repository di chiavi-valori accessibile tramite un meccanismo di attenzione basato sul trasporto di ruoli, mantenendo una separazione esplicita tra le rappresentazioni linguistiche e quelle della conoscenza.
Il paper propone la Draft-Conditioned Constrained Decoding (DCCD), un metodo di inferenza senza addestramento che separa la pianificazione semantica dal vincolo strutturale tramite una generazione preliminare libera, migliorando significativamente l'accuratezza nella generazione di output strutturati e l'efficienza parametrica rispetto alle tecniche di decodifica vincolata tradizionali.
Il paper propone un nuovo paradigma di inferenza per i grandi modelli linguistici, denominato "inferenza a tempo entropico", che sostituisce la progressione lineare dei token con un flusso guidato dall'incertezza, integrando pianificazione, sparsificazione dell'attenzione e controllo adattivo della temperatura in un unico obiettivo termodinamico per ottimizzare l'allocazione delle risorse computazionali.
Il paper propone CoIPO, un metodo basato sull'apprendimento contrastivo e l'ottimizzazione diretta delle preferenze inversa che migliora la robustezza intrinseca dei grandi modelli linguistici al rumore nei prompt, superando i metodi esistenti grazie a un nuovo benchmark e dataset appositamente creati.
Il paper presenta M-QUEST, un framework semantico e un benchmark di 609 coppie domanda-risposta su 307 meme, progettati per valutare la capacità dei modelli linguistici di interpretare la tossicità e il significato multimodale dei meme attraverso l'analisi di dimensioni specifiche e il ragionamento di senso comune.
Il paper presenta IntPro, un agente proxy che migliora la comprensione contestuale delle intenzioni utente mediante un'inferenza condizionata al recupero di pattern storici, addestrato tramite fine-tuning supervisionato e ottimizzazione GRPO per adattarsi dinamicamente alle esigenze individuali.
Questo studio valuta empiricamente la robustezza di 13 modelli linguistici di grandi dimensioni a cinque tipi di perturbazioni nel ragionamento a catena di pensiero, rivelando che la vulnerabilità è eterogenea e dipende sia dal tipo di errore che dalla scala del modello, con benefici di scalabilità significativi per alcuni errori ma limitati per compiti di ragionamento dimensionale.
Questo studio propone un framework per la generazione di classifiche di modelli linguistici su larga scala che, integrando la quantificazione dell'incertezza statistica attraverso un modello Bradley-Terry-Luce contestuale, evita decisioni errate basate su differenze di ranking non significative e fornisce insiemi di confidenza validi per le valutazioni specifiche del prompt.