1939 articoli
Questo studio dimostra che, sebbene il contrastive steering per i LLM sia robusto a una moderata corruzione dei dati, è vulnerabile ad alterazioni maliziose su larga scala, ma tale problema può essere efficacemente mitigato sostituendo il calcolo della media standard con un stimatore robusto della media.
Il documento presenta DGRO, un metodo che allinea i modelli linguistici alle norme delle comunità online sfruttando la densità geometrica delle risposte implicitamente accettate, eliminando così la necessità di supervisione esplicita tramite preferenze.
Questo studio dimostra che un sistema di generazione automatica di rubriche basato sulle progressioni di apprendimento può produrre feedback di qualità da parte dell'intelligenza artificiale paragonabile a quello generato da esperti umani per le spiegazioni scientifiche scritte degli studenti.
Questo articolo esamina le sfide di fattualità e i rischi di disinformazione posti dalle grandi modelli linguistici, proponendo soluzioni tecnologiche, normative e di alfabetizzazione per garantire la veridicità nell'era dell'IA generativa.
Questo articolo valuta il potenziale di ChatGPT come co-pilota nei flussi di lavoro di data science, esaminando le sue capacità nell'esplorazione dei dati, nella visualizzazione e nelle attività di modellazione supervisionata e non supervisionata, pur sottolineando la necessità di considerare attentamente i suoi limiti nell'analisi empirica.
Questa rassegna offre una panoramica completa sull'uso degli agenti basati su modelli linguistici di grandi dimensioni (LLM) nel trading finanziario, analizzandone architetture, dati, prestazioni e sfide per delineare le future direzioni di ricerca.
Il paper introduce SynthKG e Distill-SynthKG, un approccio che genera dati sintetici di alta qualità per addestrare modelli più piccoli, permettendo la costruzione scalabile di grafi della conoscenza documentali che superano i modelli più grandi e migliorano significativamente le prestazioni nel recupero e nel question answering.
Questo articolo dimostra che l'utilizzo di funzioni di attivazione basate su basi ortonormali (polinomiali, trigonometriche e tropicali), combinate con un'inizializzazione che preserva la varianza, permette di addestrare con successo modelli profondi come GPT-2 e ConvNeXt risolvendo i problemi di esplosione e svanimento dei gradienti, offrendo al contempo nuove prospettive sull'interpretazione strutturale delle reti neurali e facilitando il fine-tuning tramite approssimazione di attivazioni classiche.
Il paper presenta AStar, un metodo di ragionamento strutturato automatico e privo di addestramento che migliora le capacità di ragionamento multimodale integrando "carte di pensiero" adattive, ottenendo prestazioni superiori rispetto a GPT-4o su benchmark matematici senza i costi computazionali delle ricerche esplicite o la complessità del post-training.
Questo lavoro propone un metodo senza addestramento che migliora significativamente il rilevamento delle allucinazioni nei grandi modelli linguistici iniettando rumore nei parametri o nelle attivazioni nascoste durante il campionamento per catturare meglio l'incertezza del modello secondo una prospettiva bayesiana.
Questo paper introduce LLM-ProS, una nuova tecnica di valutazione che analizza le prestazioni di cinque modelli linguistici avanzati su 166 problemi delle finali mondiali dell'ICPC, evidenziando le loro capacità di ragionamento, accuratezza e limiti nell'affrontare compiti di programmazione competitiva.
Il paper propone un framework di adattamento robusto per i Modelli Multimodali di grandi dimensioni che migliora l'accuratezza e la generalizzazione nel rilevamento dei meme offensivi, superando le prestazioni dei sistemi supervisionati tradizionali e offrendo maggiore interpretabilità.
Il paper presenta MemeXplain, un nuovo dataset spiegabile per la rilevazione di meme propagandistici e d'odio, e propone un approccio di ottimizzazione multi-stadio che, utilizzando modelli visione-linguaggio, supera lo stato dell'arte migliorando sia la classificazione che la generazione di spiegazioni.
Il paper propone un approccio di Reinforcement Learning che ottimizza la calibrazione della confidenza dei Large Language Models tramite una funzione di ricompensa basata sulla regola di punteggio logaritmica, integrando la stima dell'incertezza direttamente nel processo generativo e ottenendo modelli meglio calibrati e capaci di generalizzare su compiti non visti.
Questo studio analizza meta-analiticamente 92 modelli linguistici open-source per dimostrare che l'integrazione di fattori come la composizione dei dati e le scelte architetturali, oltre alla semplice scala, migliora significativamente la previsione delle prestazioni downstream e offre indicazioni pratiche per la progettazione di modelli più efficienti.
Questa rassegna sistematica esamina come i modelli linguistici di grandi dimensioni stiano rivoluzionando la bioinformatica attraverso l'analisi di dati genomici e proteomici, affrontando le sfide attuali e delineando le future direzioni verso l'applicazione clinica e la medicina di precisione.
Il paper presenta LLaVE, un nuovo framework di modelli di embedding multimodali che utilizza un apprendimento contrastivo ponderato per la difficoltà per superare i limiti delle perdite standard, ottenendo prestazioni all'avanguardia su 36 dataset e dimostrando una forte capacità di generalizzazione zero-shot.
Il paper presenta Vision-R1, un modello MLLM che potenzia le capacità di ragionamento multimodale attraverso un'inizializzazione "cold-start" su un dataset di ragionamento a catena di pensiero generato automaticamente e un addestramento RL con una strategia di soppressione progressiva del pensiero, ottenendo prestazioni paragonabili a OpenAI O1 su benchmark matematici.
Questo articolo dimostra teoricamente ed empiricamente che la previsione del prossimo token nelle LLM permette di apprendere rappresentazioni interpretabili dall'uomo, che corrispondono approssimativamente ai logaritmi delle probabilità posteriori di concetti latenti discreti, fornendo così una base teorica per l'ipotesi delle rappresentazioni lineari e per la valutazione degli sparse autoencoder.
Il paper presenta MoBLLM, un modello fondazionale per la previsione della mobilità individuale basato su un grande modello linguistico open-source e tecniche di fine-tuning efficiente, che supera i modelli esistenti in accuratezza, trasferibilità e robustezza su diversi dataset reali.