1071 articoli
Questo studio dimostra che le metriche spettrali estratte da reti strutturali di requisiti testuali, validate attraverso un esperimento con integrazioni molecolari, prevedono con elevata accuratezza lo sforzo di integrazione, colmando un divario metodologico tra l'analisi della complessità architetturale e l'ingegneria dei requisiti.
Il paper presenta CoCoA, un nuovo algoritmo di decoding senza addestramento che mitiga le allucinazioni nei modelli linguistici di grandi dimensioni analizzando l'instabilità rappresentativa tra i livelli interni per migliorare l'accuratezza fattuale durante l'inferenza.
Il paper presenta NeSyS, un framework neuro-simbolico che integra le capacità semantiche probabilistiche dei grandi modelli linguistici con regole simboliche eseguibili per creare modelli del mondo interattivi più robusti, precisi ed efficienti dal punto di vista dei dati, riducendo la necessità di dati di addestramento del 50% senza compromettere l'accuratezza.
Questo studio analizza il riordinamento di documenti OAI olandesi frammentati, dimostrando che mentre i modelli basati su reti pointer e ranking pairwise raggiungono buone prestazioni su documenti brevi, i transformer seq2seq falliscono su testi lunghi a causa di strategie di ordinamento divergenti, un problema mitigato con successo attraverso la specializzazione del modello.
Questo articolo presenta un framework di modellazione tematica che utilizza le incorporazioni semantiche contestuali per semplificare le scale psicologiche senza richiedere dati di risposta, riducendo la lunghezza degli strumenti del 60,5% in media pur mantenendo la validità psicometrica e la coerenza strutturale.
Questo studio presenta un modello di machine learning interpretabile che, utilizzando caratteristiche linguistiche selezionate, classifica con alta accuratezza i testi scritti da apprendenti dell'estone secondo il livello CEFR, offrendo allo stesso tempo approfondimenti sull'evoluzione della complessità linguistica e integrando tali risultati in un ambiente open-source per l'apprendimento delle lingue.
Questo lavoro propone una tassonomia geometrica delle allucinazioni nei LLM, classificandole in tre tipi distinti e introducendo gli indici SGI e DGI per rilevarle, mentre evidenzia come le limitazioni metodologiche nei benchmark esistenti possano mascherare la vera natura degli errori fattuali.
Questo articolo propone una gerarchia a cinque livelli di apprendibilità basata sulla struttura informativa dei problemi computazionali, sostenendo che il progresso dell'apprendimento automatico dipende più dalla verificabilità del feedback (come nel caso della generazione di codice) rispetto alla semplice scalabilità dei modelli.
Il paper propone XTF, un framework di filtraggio del rumore a livello di token che migliora significativamente le prestazioni del fine-tuning dei LLM decomponendo i contributi dei dati in attributi espliciti e mascherando i gradienti dei token rumorosi.
Il paper presenta CogitoRAG, un framework RAG ispirato alla memoria episodica umana che, attraverso l'estrazione di "gist" semantici, la costruzione di un grafo della conoscenza multidimensionale e un meccanismo di diffusione semantica globale, supera i limiti delle rappresentazioni testuali discrete per migliorare significativamente l'integrazione della conoscenza e il ragionamento rispetto ai metodi RAG esistenti.
Il paper presenta EC-Net, un framework iperbolico basato su ipergrafi che utilizza embedding nello spazio di Poincaré e apprendimento contrastivo per migliorare la robustezza e l'accuratezza del riconoscimento delle emozioni multimodali, specialmente in presenza di rumore o dati mancanti.
Il paper presenta ModalImmune, un framework di addestramento che garantisce la resilienza dei sistemi multimodali alla perdita o corruzione dei canali di input, insegnando al modello a sviluppare rappresentazioni congiunte robuste attraverso un processo controllato di collasso delle informazioni modali.
Il paper introduce CondMedQA, il primo benchmark per la risposta condizionata alle domande biomediche, e CGR, un nuovo framework che migliora il ragionamento medico modellando esplicitamente le condizioni specifiche del paziente per selezionare le conoscenze appropriate.
Il paper introduce MrBERT, una famiglia di encoder multilingue basata sull'architettura ModernBERT e pre-addestrata su 35 lingue, che combina prestazioni di punta in domini specifici e linguaggi locali con l'efficienza operativa grazie all'apprendimento di rappresentazioni Matryoshka (MRL).
Il paper introduce CeRA, un adattatore parallelo a livello di pesi che supera i limiti lineari del LoRA nelle attività di ragionamento complesso espandendo il manifold tramite gating SiLU e dropout strutturale, ottenendo così una maggiore efficienza spettrale e prevenendo il collasso del rango.
Il paper introduce KVSlimmer, un algoritmo efficiente e privo di gradienti fondato su un quadro teorico che sfrutta l'asimmetria spettrale delle proiezioni KV per ridurre significativamente i costi di memoria e latenza dell'LLM mantenendo o migliorando le prestazioni.
Questo studio presenta un framework di previsione conforme che garantisce coperture finite per l'estrazione di entità mediche basata su LLM, rivelando come la calibrazione dipenda dal dominio clinico e dimostrando che l'adattamento specifico del settore permette di raggiungere un'affidabilità superiore al 90% sia su documenti strutturati che su rapporti radiologici liberi.
Il lavoro introduce CyclicJudge, una strategia di assegnazione round-robin dei giudici che, basandosi su una decomposizione della varianza, elimina i bias sistematici nelle valutazioni LLM mantenendo invariati i costi computazionali rispetto alle valutazioni con un singolo giudice.
Il paper presenta PrivMedChat, un framework end-to-end per l'addestramento di sistemi di dialogo medici che integra la privacy differenziale in tutte le fasi del RLHF, garantendo la protezione dei dati sensibili senza richiedere etichettatura clinica costosa.
Lo studio dimostra che il metodo CDD per il rilevamento dell'inquinamento dei dati nei piccoli modelli linguistici è inefficace, poiché dipende dalla memorizzazione verbale e viene costantemente superato da approcci basati sulla probabilità come la perplessità e Min-k% Prob.