9332 articoli
Questo studio dimostra che l'allineamento linguistico, attraverso un nuovo metodo chiamato "Semantic Anchoring", risolve il collasso semantico nei modelli foundation per la patologia computazionale, migliorando significativamente la rilevazione del cancro sia in contesti interspecie che inter-tumorali senza necessità di riaddestramento.
Il paper propone CTRL-RAG, un nuovo framework di apprendimento per rinforzo basato su una ricompensa di verosimiglianza contrastiva che ottimizza la differenza di log-verosimiglianza tra risposte con e senza evidenze, migliorando così la fedeltà al contesto e riducendo le allucinazioni nei modelli RAG.
Lo studio dimostra che l'allineamento emergente nei modelli linguistici è intrinsecamente contenuto da trigger semantici, creando vulnerabilità sfruttabili anche quando i modelli vengono addestrati esclusivamente su dati dannosi senza alcun confronto con comportamenti benigni.
Questo studio introduce il framework HUMAINE, che attraverso un'analisi multidimensionale di oltre 23.000 conversazioni con utenti demograficamente stratificati, rivela come le preferenze per i modelli linguistici varino significativamente in base all'età e dimostri la necessità di abbandonare le valutazioni riduzioniste a favore di approcci più rappresentativi e granulari.
Questo articolo introduce SalamahBench, il primo benchmark standardizzato per la valutazione della sicurezza dei modelli linguistici arabi, rivelando significative differenze nell'allineamento alla sicurezza tra i modelli attuali e la necessità di meccanismi di protezione specializzati.
Il paper presenta DynaKV, un innovativo framework di post-addestramento per la compressione del cache KV che assegna dinamicamente tassi di compressione a livello di token in base al loro significato semantico, ottenendo così una riduzione significativa della memoria e prestazioni superiori rispetto alle tecniche esistenti, specialmente se combinato con metodi di pruning come SnapKV.
Questo articolo introduce l'Inductive Conceptual Rating (ICR), una metrica qualitativa basata su semiotica ed ermeneutica per valutare l'allineamento semantico dei riassunti generati da LLM, evidenziando come, nonostante l'elevata similarità lessicale, i modelli linguistici spesso falliscano nel catturare significati contestualmente radicati rispetto alla produzione umana.
Il paper propone FreST Loss, un obiettivo di addestramento basato sulla trasformata di Fourier congiunta che supera i limiti delle funzioni di perdita tradizionali decorrelando le dipendenze spaziali e temporali nel dominio frequenziale, migliorando così le prestazioni dei modelli di previsione spaziotemporale su diversi dataset reali.
Lo studio dimostra che i modelli visione-linguaggio calcolano le affordance in modo fortemente dipendente dal contesto, mostrando una deriva significativa sia lessicale che semantica che suggerisce la necessità di un'ontologia dinamica e adattiva per la robotica.
Lo studio dimostra che l'uso di sistemi multi-agente basati su LLM di fornitori diversi migliora significativamente l'accuratezza e la sensibilità delle diagnosi cliniche rispetto alle configurazioni omogenee, grazie alla capacità di combinare bias induttivi complementari per identificare diagnosi che singoli modelli o team uniformi mancherebbero.
Il paper propone FedEMA-Distill, un metodo di apprendimento federato robusto ed efficiente che combina una media mobile esponenziale con la distillazione della conoscenza basata sui logit aggregati per mitigare l'eterogeneità dei dati, ridurre il carico di comunicazione e resistere ad attacchi avversari senza richiedere modifiche ai client.
Questo studio presenta un metodo di auto-istruzione consapevole della conformità, integrato con un pipeline di verifica a 26 filtri e tecniche LoRA, per generare dialoghi radio marittimi realistici e conformi allo SMCP dell'IMO, al fine di colmare la carenza di dati ad alta qualità necessari per i sistemi di sicurezza marittima basati sull'intelligenza artificiale.
Il paper introduce Delta-Crosscoder, un metodo innovativo che combina sparsità BatchTopK e una perdita basata sulle differenze per isolare con successo le direzioni latenti responsabili di comportamenti specifici nei modelli fine-tuned, superando le limitazioni degli approcci esistenti in scenari di modifica stretta e asimmetrica.
Il paper propone di ridurre la dimensione delle chiavi (keys) nell'attenzione dei transformer, sfruttando l'asimmetria tra la selezione (a bassa dimensionalità) e il trasferimento di valori (ad alta dimensionalità), per ottenere un risparmio significativo della cache KV con una minima perdita di qualità del modello.
Questo paper presenta un sistema per l'inferenza multi-agente LLM su dispositivi edge che risolve i vincoli di memoria persistendo le cache KV quantizzate a 4 bit su disco, permettendo il ripristino diretto dello stato di attenzione e riducendo il tempo di primo token fino a 136 volte rispetto al ricalcolo completo, con un impatto minimo sulla qualità del modello.
Il paper introduce il sistema di valutazione "What Is Missing" (WIM), che trasforma il feedback testuale in un punteggio numerico basato sulla similarità semantica tra l'output del modello e la descrizione delle informazioni mancanti, offrendo segnali di apprendimento più distinti e interpretabili rispetto alle tradizionali valutazioni numeriche dirette.
Il paper presenta SOLID, un framework di diffusione condizionato da maschere che apprende la dinamica spazio-temporale esclusivamente da osservazioni sparse senza richiedere dati densi, permettendo la ricostruzione di campi completi con mappe di incertezza ben calibrate.
Il paper propone ZorBA, un framework di fine-tuning federato per grandi modelli linguistici che utilizza ottimizzazione di ordine zero e attivazione eterogenea dei blocchi per ridurre drasticamente l'uso di VRAM e l'overhead di comunicazione mantenendo un'alta efficienza di convergenza.
Il documento propone ASFL, un framework di apprendimento federato diviso adattivo che ottimizza la velocità di convergenza, il ritardo e il consumo energetico nei network wireless mediante un algoritmo di ottimizzazione online che gestisce dinamicamente la suddivisione del modello e l'allocazione delle risorse.
Il paper presenta CogGen, un modello generativo profondo completamente non supervisionato che migliora la ricostruzione della risonanza magnetica campionata in modo compresso regolando il "carico cognitivo" attraverso una strategia di apprendimento curricolare che passa gradualmente dal fitting dei dati a bassa frequenza a quelli ad alta frequenza, superando così i limiti di convergenza e di sovrapposizione dei metodi tradizionali.