2026 articoli
Il paper propone un approccio di Reinforcement Learning che ottimizza la calibrazione della confidenza dei Large Language Models tramite una funzione di ricompensa basata sulla regola di punteggio logaritmica, integrando la stima dell'incertezza direttamente nel processo generativo e ottenendo modelli meglio calibrati e capaci di generalizzare su compiti non visti.
Questo studio analizza meta-analiticamente 92 modelli linguistici open-source per dimostrare che l'integrazione di fattori come la composizione dei dati e le scelte architetturali, oltre alla semplice scala, migliora significativamente la previsione delle prestazioni downstream e offre indicazioni pratiche per la progettazione di modelli più efficienti.
Questa rassegna sistematica esamina come i modelli linguistici di grandi dimensioni stiano rivoluzionando la bioinformatica attraverso l'analisi di dati genomici e proteomici, affrontando le sfide attuali e delineando le future direzioni verso l'applicazione clinica e la medicina di precisione.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Questo articolo dimostra teoricamente ed empiricamente che la previsione del prossimo token nelle LLM permette di apprendere rappresentazioni interpretabili dall'uomo, che corrispondono approssimativamente ai logaritmi delle probabilità posteriori di concetti latenti discreti, fornendo così una base teorica per l'ipotesi delle rappresentazioni lineari e per la valutazione degli sparse autoencoder.
Il paper presenta MoBLLM, un modello fondazionale per la previsione della mobilità individuale basato su un grande modello linguistico open-source e tecniche di fine-tuning efficiente, che supera i modelli esistenti in accuratezza, trasferibilità e robustezza su diversi dataset reali.
Questo articolo propone la "Chain of Correction" (CoC), un metodo basato su chat multi-turno che sfrutta i grandi modelli linguistici per correggere in modo stabile e controllato gli errori nella trascrizione completa del parlato, dimostrando prestazioni superiori rispetto ai sistemi esistenti.
Il paper introduce AnesSuite, la prima suite completa di dataset e benchmark per il ragionamento in anestesiologia nei modelli linguistici, e presenta Morpheus, un modello di base che dimostra significativi miglioramenti nelle competenze anestesistiche e mediche generali grazie a strategie di addestramento specifiche.
Il paper presenta DRA-GRPO, un framework che migliora il ragionamento matematico dei modelli linguistici integrando una calibrazione della diversità basata sull'informazione mutua sottomodulare nel processo di ottimizzazione GRPO, permettendo così di superare la limitazione delle ricompense scalari standard e ottenere prestazioni superiori con dati di addestramento ridotti.
Lo studio dimostra che i Large Language Models possono essere più persuasivi di umani incentivati in contesti interattivi, superandoli sia in scenari veritieri che ingannevoli (con variazioni tra modelli come Claude 3.5 Sonnet e DeepSeek v3), grazie a un'espressione di maggiore convinzione, sebbene il loro vantaggio diminuisca con interazioni ripetute.
Il paper presenta mCLM, un modello linguistico chimico modulare che, tokenizzando le molecole in blocchi funzionali compatibili con la sintesi automatizzata, genera nuovi candidati farmacologici con proprietà migliorate e un'accessibilità sintetica superiore rispetto ai metodi esistenti, inclusi i modelli di grandi dimensioni come GPT-5.
Il paper presenta DTR, una difesa innovativa a tempo di inferenza che mitiga gli attacchi jailbreak multimodali nei modelli visione-linguaggio ottimizzando dinamicamente i pesi dei token visivi nei cache KV, ottenendo così una maggiore robustezza senza compromettere le capacità generali del modello.
Questo articolo presenta "Chain-of-Lure", un nuovo framework universale di jailbreak che sfrutta narrazioni sintetiche non vincolate e l'ottimizzazione tramite un modello LLM ausiliario per aggirare le difese dei modelli linguistici, rivelando vulnerabilità intrinseche e proponendo strategie di difesa.
Il paper propone la Negative-aware Fine-Tuning (NFT), un approccio di apprendimento supervisionato che, modellando le risposte errate generate internamente come una politica implicita, permette ai modelli linguistici di migliorare autonomamente nelle capacità di ragionamento matematico, colmando il divario tra metodi supervisionati e di apprendimento per rinforzo e dimostrando risultati paragonabili o superiori agli algoritmi RL più avanzati.
Il paper introduce SQUiD, un innovativo framework neurosimbolico che utilizza modelli linguistici di grandi dimensioni per generare automaticamente schemi e popolazioni di database relazionali partendo da testi non strutturati, dimostrando prestazioni superiori rispetto alle soluzioni esistenti.
Il paper presenta Intuitor, un metodo di apprendimento per rinforzo che utilizza la "self-certainty" (autocertezza) intrinseca del modello come unico segnale di ricompensa, permettendo ai grandi modelli linguistici di migliorare il ragionamento e la generalizzazione in modo completamente non supervisionato senza dipendere da ricompense esterne o dati etichettati.
Il lavoro presenta RPM, un nuovo framework che supera i limiti della personalizzazione a livello di risposta nei modelli linguistici di grandi dimensioni (LLM) a scatola nera, introducendo la personalizzazione a livello di ragionamento per scoprire automaticamente strutture di ragionamento specifiche dell'utente dai dati comportamentali e guidare inferenze più pertinenti e interpretabili.
Questo studio dimostra che arricchire i modelli linguistici con dati pertinenti e una validazione preliminare automatizzata migliora significativamente la fattibilità e la qualità delle idee di ricerca nelle scienze sociali, ispirando inoltre i ricercatori umani a generare proposte di ricerca superiori.
Il paper presenta RefTool, un framework che guida la creazione automatica di strumenti da parte dei modelli linguistici di grandi dimensioni utilizzando materiali di riferimento esterni, superando così i limiti della conoscenza interna e migliorando significativamente le prestazioni nel ragionamento basato su conoscenze in ambiti scientifici e non.