1066 articoli
Il paper presenta EC-Net, un framework iperbolico basato su ipergrafi che utilizza embedding nello spazio di Poincaré e apprendimento contrastivo per migliorare la robustezza e l'accuratezza del riconoscimento delle emozioni multimodali, specialmente in presenza di rumore o dati mancanti.
Il paper presenta ModalImmune, un framework di addestramento che garantisce la resilienza dei sistemi multimodali alla perdita o corruzione dei canali di input, insegnando al modello a sviluppare rappresentazioni congiunte robuste attraverso un processo controllato di collasso delle informazioni modali.
Il paper introduce CondMedQA, il primo benchmark per la risposta condizionata alle domande biomediche, e CGR, un nuovo framework che migliora il ragionamento medico modellando esplicitamente le condizioni specifiche del paziente per selezionare le conoscenze appropriate.
Il paper introduce MrBERT, una famiglia di encoder multilingue basata sull'architettura ModernBERT e pre-addestrata su 35 lingue, che combina prestazioni di punta in domini specifici e linguaggi locali con l'efficienza operativa grazie all'apprendimento di rappresentazioni Matryoshka (MRL).
Il paper introduce CeRA, un adattatore parallelo a livello di pesi che supera i limiti lineari del LoRA nelle attività di ragionamento complesso espandendo il manifold tramite gating SiLU e dropout strutturale, ottenendo così una maggiore efficienza spettrale e prevenendo il collasso del rango.
Il paper introduce KVSlimmer, un algoritmo efficiente e privo di gradienti fondato su un quadro teorico che sfrutta l'asimmetria spettrale delle proiezioni KV per ridurre significativamente i costi di memoria e latenza dell'LLM mantenendo o migliorando le prestazioni.
Questo studio presenta un framework di previsione conforme che garantisce coperture finite per l'estrazione di entità mediche basata su LLM, rivelando come la calibrazione dipenda dal dominio clinico e dimostrando che l'adattamento specifico del settore permette di raggiungere un'affidabilità superiore al 90% sia su documenti strutturati che su rapporti radiologici liberi.
Il lavoro introduce CyclicJudge, una strategia di assegnazione round-robin dei giudici che, basandosi su una decomposizione della varianza, elimina i bias sistematici nelle valutazioni LLM mantenendo invariati i costi computazionali rispetto alle valutazioni con un singolo giudice.
Il paper presenta PrivMedChat, un framework end-to-end per l'addestramento di sistemi di dialogo medici che integra la privacy differenziale in tutte le fasi del RLHF, garantendo la protezione dei dati sensibili senza richiedere etichettatura clinica costosa.
Lo studio dimostra che il metodo CDD per il rilevamento dell'inquinamento dei dati nei piccoli modelli linguistici è inefficace, poiché dipende dalla memorizzazione verbale e viene costantemente superato da approcci basati sulla probabilità come la perplessità e Min-k% Prob.
Il paper presenta vLLM Hook, un plugin open-source che abilita la programmazione passiva e attiva degli stati interni dei modelli LLM su vLLM, permettendo applicazioni come il rilevamento di prompt injection, il miglioramento del RAG e il controllo tramite attivazioni.
Il rapporto tecnico presenta un sistema basato su transformer che migliora le prestazioni nell'ARC-AGI combinando l'inferenza neurale con priors strutturati e adattamento online, ottenendo risultati superiori rispetto ai solutori precedenti e avvicinandosi alla generalizzazione di livello umano.
Questo studio individua il "P0 Sink Circuit", un meccanismo semplice e privo di contenuto semantico che si forma nelle prime fasi dell'addestramento e nelle prime due strati dei modelli linguistici, spiegando come e perché si generi l'attenzione sismica sul primo token dell'input.
Questo lavoro unifica la spiegazione dell'emergere di fenomeni meccanicistici nei modelli linguistici, dimostrando che le strutture gerarchiche nel processo di generazione dei dati sono il fattore chiave, utilizzando corpora sintetici basati su grammatiche probabilistiche per validare teoricamente e empiricamente tale ipotesi.
Il paper presenta HEF (Hierarchical Embedding Fusion), un approccio a due stadi per la generazione di codice che comprime offline i repository in una gerarchia di vettori densi e li integra online tramite pseudo-token, ottenendo prestazioni di accuratezza comparabili ai metodi basati su snippet ma con una latenza end-to-end ridotta fino a 26 volte.
Questo studio dimostra che i giudizi automatizzati basati su LLM falliscono nel valutare in modo affidabile la robustezza avversariale a causa di significativi spostamenti distributivi, portando spesso a risultati vicini al caso casuale e a tassi di successo ingannevoli, e propone pertanto nuovi benchmark per migliorare la valutazione.
Il paper propone PerContrast e la funzione di perdita PerCE, un metodo che stima e potenzia l'importanza dei token specifici per l'utente a livello causale, migliorando significativamente le prestazioni di personalizzazione dei modelli linguistici su larga scala con costi computazionali minimi.
Questo paper introduce un metodo per allineare la confidenza degli LLM alla correttezza delle loro risposte utilizzando punteggi normalizzati basati su token di ancoraggio, dimostrando che il fine-tuning supervisionato migliora l'affidabilità rispetto ai metodi di apprendimento per rinforzo e abilitando applicazioni pratiche come la generazione aumentata da recupero adattiva.
Il paper introduce GraphSkill, un framework agentic che migliora il ragionamento su grafi complessi tramite un recupero gerarchico guidato dalla documentazione e un agente di autodebugging, validato su un nuovo dataset dedicato.
Il paper introduce SR-TTT, un modello di linguaggio che risolve il problema della perdita di informazioni nei metodi Test-Time Training puri, integrando un meccanismo di memoria residua a gate basato sulla sorpresa per preservare in modo efficiente i token critici mantenendo un footprint di memoria costante.