1975 articoli
Questo articolo valuta il potenziale di ChatGPT come co-pilota nei flussi di lavoro di data science, esaminando le sue capacità nell'esplorazione dei dati, nella visualizzazione e nelle attività di modellazione supervisionata e non supervisionata, pur sottolineando la necessità di considerare attentamente i suoi limiti nell'analisi empirica.
Questa rassegna offre una panoramica completa sull'uso degli agenti basati su modelli linguistici di grandi dimensioni (LLM) nel trading finanziario, analizzandone architetture, dati, prestazioni e sfide per delineare le future direzioni di ricerca.
Il paper introduce SynthKG e Distill-SynthKG, un approccio che genera dati sintetici di alta qualità per addestrare modelli più piccoli, permettendo la costruzione scalabile di grafi della conoscenza documentali che superano i modelli più grandi e migliorano significativamente le prestazioni nel recupero e nel question answering.
Questo articolo dimostra che l'utilizzo di funzioni di attivazione basate su basi ortonormali (polinomiali, trigonometriche e tropicali), combinate con un'inizializzazione che preserva la varianza, permette di addestrare con successo modelli profondi come GPT-2 e ConvNeXt risolvendo i problemi di esplosione e svanimento dei gradienti, offrendo al contempo nuove prospettive sull'interpretazione strutturale delle reti neurali e facilitando il fine-tuning tramite approssimazione di attivazioni classiche.
Il paper presenta AStar, un metodo di ragionamento strutturato automatico e privo di addestramento che migliora le capacità di ragionamento multimodale integrando "carte di pensiero" adattive, ottenendo prestazioni superiori rispetto a GPT-4o su benchmark matematici senza i costi computazionali delle ricerche esplicite o la complessità del post-training.
Questo lavoro propone un metodo senza addestramento che migliora significativamente il rilevamento delle allucinazioni nei grandi modelli linguistici iniettando rumore nei parametri o nelle attivazioni nascoste durante il campionamento per catturare meglio l'incertezza del modello secondo una prospettiva bayesiana.
Questo paper introduce LLM-ProS, una nuova tecnica di valutazione che analizza le prestazioni di cinque modelli linguistici avanzati su 166 problemi delle finali mondiali dell'ICPC, evidenziando le loro capacità di ragionamento, accuratezza e limiti nell'affrontare compiti di programmazione competitiva.
Il paper propone un framework di adattamento robusto per i Modelli Multimodali di grandi dimensioni che migliora l'accuratezza e la generalizzazione nel rilevamento dei meme offensivi, superando le prestazioni dei sistemi supervisionati tradizionali e offrendo maggiore interpretabilità.
Il paper presenta MemeXplain, un nuovo dataset spiegabile per la rilevazione di meme propagandistici e d'odio, e propone un approccio di ottimizzazione multi-stadio che, utilizzando modelli visione-linguaggio, supera lo stato dell'arte migliorando sia la classificazione che la generazione di spiegazioni.
Il paper propone un approccio di Reinforcement Learning che ottimizza la calibrazione della confidenza dei Large Language Models tramite una funzione di ricompensa basata sulla regola di punteggio logaritmica, integrando la stima dell'incertezza direttamente nel processo generativo e ottenendo modelli meglio calibrati e capaci di generalizzare su compiti non visti.
Questo studio analizza meta-analiticamente 92 modelli linguistici open-source per dimostrare che l'integrazione di fattori come la composizione dei dati e le scelte architetturali, oltre alla semplice scala, migliora significativamente la previsione delle prestazioni downstream e offre indicazioni pratiche per la progettazione di modelli più efficienti.
Questa rassegna sistematica esamina come i modelli linguistici di grandi dimensioni stiano rivoluzionando la bioinformatica attraverso l'analisi di dati genomici e proteomici, affrontando le sfide attuali e delineando le future direzioni verso l'applicazione clinica e la medicina di precisione.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Questo articolo dimostra teoricamente ed empiricamente che la previsione del prossimo token nelle LLM permette di apprendere rappresentazioni interpretabili dall'uomo, che corrispondono approssimativamente ai logaritmi delle probabilità posteriori di concetti latenti discreti, fornendo così una base teorica per l'ipotesi delle rappresentazioni lineari e per la valutazione degli sparse autoencoder.
Il paper presenta MoBLLM, un modello fondazionale per la previsione della mobilità individuale basato su un grande modello linguistico open-source e tecniche di fine-tuning efficiente, che supera i modelli esistenti in accuratezza, trasferibilità e robustezza su diversi dataset reali.
Questo articolo propone la "Chain of Correction" (CoC), un metodo basato su chat multi-turno che sfrutta i grandi modelli linguistici per correggere in modo stabile e controllato gli errori nella trascrizione completa del parlato, dimostrando prestazioni superiori rispetto ai sistemi esistenti.
Il paper introduce AnesSuite, la prima suite completa di dataset e benchmark per il ragionamento in anestesiologia nei modelli linguistici, e presenta Morpheus, un modello di base che dimostra significativi miglioramenti nelle competenze anestesistiche e mediche generali grazie a strategie di addestramento specifiche.
Il paper presenta DRA-GRPO, un framework che migliora il ragionamento matematico dei modelli linguistici integrando una calibrazione della diversità basata sull'informazione mutua sottomodulare nel processo di ottimizzazione GRPO, permettendo così di superare la limitazione delle ricompense scalari standard e ottenere prestazioni superiori con dati di addestramento ridotti.
Lo studio dimostra che i Large Language Models possono essere più persuasivi di umani incentivati in contesti interattivi, superandoli sia in scenari veritieri che ingannevoli (con variazioni tra modelli come Claude 3.5 Sonnet e DeepSeek v3), grazie a un'espressione di maggiore convinzione, sebbene il loro vantaggio diminuisca con interazioni ripetute.