1726 articoli
Lo studio dimostra che i modelli SpeechLLM presentano un'elevata ridondanza nei loro decoder, ereditata dai LLM pre-addestrati, permettendo di rimuovere fino al 40% dei livelli mantenendo buone prestazioni in ASR e traduzione, con una struttura di ridondanza globale che abilita un'unica architettura ottimizzata per più compiti.
Il paper presenta LBM, un modello gerarchico di auto-offerta pubblicitaria che combina un modulo di ragionamento (LBM-Think) e uno di azione (LBM-Act) potenziati da un meccanismo di embedding duale e da un fine-tuning offline (GQPO) per migliorare le prestazioni e la generalizzazione nelle aste competitive.
Questo articolo dimostra teoricamente e sperimentalmente che i transformer apprendono il ragionamento analogico allineando le rappresentazioni di entità con proprietà simili, un processo che richiede un curriculum di addestramento specifico e la presenza esplicita di ponti identitari nei dati.
Il paper introduce C2-Faith, un benchmark basato su PRM800K che valuta l'affidabilità dei giudici LLM nel misurare la fedeltà causale e la completezza del ragionamento a catena di pensiero, rivelando che le prestazioni dipendono fortemente dal compito specifico e che esistono significative lacune nella capacità di localizzare errori o valutare ragionamenti incompleti.
Il paper introduce Sparse-BitNet, un framework unificato che dimostra come la quantizzazione a 1,58 bit sia naturalmente più compatibile con la sparsità semi-strutturata N:M rispetto ai modelli a precisione completa, permettendo un addestramento stabile e significativi accelerazioni sia in fase di training che di inferenza.
Questa guida propone un quadro sistematico per l'annotazione e la visualizzazione della struttura degli argomenti giuridici nelle decisioni giudiziarie cinesi, definendo tipi di proposizioni, relazioni argomentative e flussi di lavoro standardizzati per supportare l'analisi computazionale del ragionamento giuridico.
Questo lavoro introduce un quadro teorico e algoritmi pratici per trasformare modelli linguistici preaddestrati in nuovi modelli funzionali tramite transduttori a stati finiti, permettendo di adattare le distribuzioni di output a formati specifici (come byte, parole o amminoacidi) senza modificare i parametri originali del modello.
Il paper dimostra che i modelli Diffusion LLM utilizzano i token di fine sequenza (EoS) come una "scratchpad" nascosta per elaborare informazioni e migliorare le capacità di ragionamento, un fenomeno confermato sia da esperimenti comportamentali che da interventi causali.
Il paper presenta un approccio basato sull'allineamento dei kernel che utilizza un framework di distillazione teacher-student per mappare la semantica della Logica Temporale sui Segnali (STL) in spazi vettoriali neurali continui e invertibili, superando i limiti computazionali dei metodi simbolici esistenti e permettendo un ragionamento neuro-simbolico scalabile ed efficiente.
Questo paper propone un approccio GraphRAG basato sulla decomposizione k-core che, sostituendo il clustering Leiden, garantisce una gerarchia deterministica e densità-consapevole per migliorare la comprensione globale, la diversità delle risposte e l'efficienza dei costi nei modelli linguistici su larga scala.
Questo articolo propone un metodo di ottimizzazione per la selezione del vocabolario nei modelli di bozza dello speculative decoding, che bilancia copertura e latenza riducendo fino al 97% la dimensione del vocabolario e migliorando il throughput fino al 20% su compiti specifici di dominio.
Il paper presenta VietJobs, il primo corpus pubblico su larga scala di annunci di lavoro vietnamiti contenente oltre 48.000 pubblicazioni, e ne valuta l'utilità per l'analisi del mercato del lavoro e l'elaborazione del linguaggio naturale attraverso il benchmarking di diversi modelli linguistici generativi su compiti di classificazione e stima salariale.
Il paper presenta il Multilingual Cloud Corpus, il primo dataset linguistico multimodale e parallelo su scala nazionale delle lingue etniche e indigene del Bangladesh, realizzato attraverso un lavoro sul campo sistematico per documentare e preservare 42 varietà linguistiche precedentemente prive di risorse digitali.
Il paper presenta SarcasmMiner, un framework di post-addestramento basato su apprendimento per rinforzo che utilizza una strategia di distillazione a doppio binario e ottimizzazione GRPO per migliorare il ragionamento robusto sulla sarcasmia audio-visiva, ottenendo un F1 del 70,22% sul dataset MUStARD++.
Questo lavoro stabilisce un quadro formale che collega il dibattito e l'RLAIF, dimostrando come il vantaggio del dibattito dipenda dalla divergenza geometrica delle conoscenze tra i modelli, passando da un regime trascurabile a uno essenziale attraverso una transizione di fase e classificando tre regimi di divergenza che determinano l'efficacia della supervisione avversariale.
Il paper presenta WavSLM, un modello linguistico per il parlato che, tramite la distillazione di rappresentazioni WavLM in un unico codice e l'ottimizzazione di un obiettivo di previsione autoregressiva, riesce a modellare congiuntamente informazioni semantiche e acustiche in un singolo flusso di token senza supervisione testuale, ottenendo prestazioni competitive con minori parametri e dati di addestramento.
Il paper presenta Med-V1, una famiglia di modelli linguistici di piccole dimensioni addestrata su dati sintetici di alta qualità che, pur essendo efficiente ed economica, supera le prestazioni dei modelli di base e compete con i modelli LLM all'avanguardia nel compito di attribuzione e verifica delle evidenze biomediche, offrendo applicazioni pratiche per il rilevamento di allucinazioni e la verifica di linee guida cliniche.
Il paper introduce PersianPunc, un vasto dataset di 17 milioni di campioni e un approccio basato su ParsBERT per il ripristino della punteggiatura in persiano, ottenendo prestazioni elevate con un'efficienza computazionale superiore rispetto ai grandi modelli linguistici.
Questo lavoro presenta un nuovo corpus multilingue e annotato da esperti umani contenente testi originali e versioni semplificate in stile "Lettura Facile" per spagnolo, catalano e italiano, creato per colmare il divario di risorse linguistiche e supportare la partecipazione democratica.
Questo studio esplora il potenziale e i limiti del merging di modelli per l'adattamento multi-dominio nell'ASR, proponendo il nuovo algoritmo BoostedTSV-M che, superando il collasso del rango, supera il fine-tuning completo sul portoghese europeo mantenendo al contempo la generalizzazione fuori distribuzione.