1933 articoli
Il paper presenta MaBERT, un nuovo modello ibrido che combina l'efficienza lineare di Mamba con la capacità di modellazione globale dei Transformer, introducendo tecniche di mascheramento specifiche per gestire in modo sicuro e veloce contesti estesi senza contaminazione dovuta al padding.
Il paper presenta TrustMH-Bench, un benchmark olistico che valuta l'affidabilità dei modelli linguistici di grandi dimensioni in ambito di salute mentale attraverso otto pilastri fondamentali, rivelando carenze significative nelle prestazioni attuali anche dei modelli più potenti.
Il paper introduce TikZilla, una famiglia di modelli linguistici open-source addestrati su un nuovo dataset di alta qualità (DaTikZ-V4) e ottimizzati tramite un processo di apprendimento per rinforzo con segnali di ricompensa visiva, che supera le prestazioni dei modelli più grandi come GPT-4o nella generazione di figure scientifiche TikZ da testo.
Il paper propone TAO-Attack, un nuovo metodo di jailbreak basato sull'ottimizzazione che utilizza una funzione di perdita a due stadi e una strategia di ottimizzazione dei token basata sulla priorità della direzione per superare le difese dei modelli linguistici su larga scala con tassi di successo superiori agli approcci esistenti.
Questo articolo propone un approccio innovativo basato su modelli linguistici di grandi dimensioni istruiti con prompt compatti per trattare la rilevazione congiunta dei componenti argomentativi come un compito di generazione linguistica, ottenendo prestazioni superiori rispetto agli stati dell'arte su benchmark standard.
Questo studio dimostra che le caratteristiche del parlante, come il tono, il genere e l'intensità, sono codificate in dimensioni specifiche dei modelli di apprendimento auto-supervisionato (come WavLM) e possono essere controllate modificando tali dimensioni per applicazioni di sintesi vocale.
Questo studio introduce un benchmark a matrice di commutazione che dimostra come il passaggio tra modelli diversi in sistemi LLM multi-turno generi una deriva delle prestazioni significativa e sistematica, evidenziando la necessità di monitorare la robustezza delle transizioni come dimensione critica di affidabilità operativa.
Il paper presenta UniSkill, un nuovo dataset che collega i corsi universitari alle competenze professionali della tassonomia ESCO, fornendo linee guida di annotazione e dimostrando attraverso un modello BERT l'efficacia del matching tra corsi e competenze con un punteggio F1 dell'87%.
Il paper introduce APRES, un sistema basato su modelli linguistici che revisiona automaticamente i testi scientifici per migliorarne la chiarezza e l'impatto (prevedendo un aumento delle citazioni del 19,6%) senza alterarne il contenuto sostanziale, ottenendo il 79% di preferenze da parte di esperti umani.
Il paper propone un metodo di generazione aumentata da recupero (RAG) consapevole dei tipi che, costruendo una base di conoscenza strutturata e calcolando un contesto di dipendenza minimo, garantisce la traduzione affidabile di requisiti industriali in modelli di ottimizzazione eseguibili dai solver, superando i limiti delle approcci RAG convenzionali.
Questo lavoro propone MoD-DPO, un framework di ottimizzazione delle preferenze che mitiga le allucinazioni cross-modali nei modelli linguistici omni-modali introducendo regolarizzazioni specifiche per le modalità e penalità contro i pregiudizi testuali, migliorando così l'accuratezza percettiva e la robustezza del modello.
Il paper introduce BeyondSWE, un nuovo benchmark che valuta gli agenti di codice su compiti realistici e complessi oltre la semplice correzione di bug in un singolo repository, rivelando le attuali limitazioni dei modelli e l'efficacia inconsistente dell'arricchimento tramite ricerca tramite il framework SearchSWE.
Il paper introduce ACE-Brain-0, un modello fondazionale generale che unifica ragionamento spaziale, guida autonoma e manipolazione robotica sfruttando l'intelligenza spaziale come scaffold universale e il paradigma SSR per superare le sfide dell'addestramento su embodiment eterogenei, ottenendo prestazioni all'avanguardia su 24 benchmark.
Il paper presenta MOSAIC, un framework di post-addestramento che allinea i modelli linguistici agenti per un uso sicuro degli strumenti multi-step, strutturando l'inferenza in un ciclo di pianificazione, verifica e azione o rifiuto, e utilizzando l'apprendimento per rinforzo basato su preferenze per ridurre significativamente i comportamenti dannosi e le fughe di dati senza compromettere le prestazioni nei compiti benigni.
Questo studio dimostra che, sebbene il contrastive steering per i LLM sia robusto a una moderata corruzione dei dati, è vulnerabile ad alterazioni maliziose su larga scala, ma tale problema può essere efficacemente mitigato sostituendo il calcolo della media standard con un stimatore robusto della media.
Il documento presenta DGRO, un metodo che allinea i modelli linguistici alle norme delle comunità online sfruttando la densità geometrica delle risposte implicitamente accettate, eliminando così la necessità di supervisione esplicita tramite preferenze.
Questo studio dimostra che un sistema di generazione automatica di rubriche basato sulle progressioni di apprendimento può produrre feedback di qualità da parte dell'intelligenza artificiale paragonabile a quello generato da esperti umani per le spiegazioni scientifiche scritte degli studenti.
Questo articolo esamina le sfide di fattualità e i rischi di disinformazione posti dalle grandi modelli linguistici, proponendo soluzioni tecnologiche, normative e di alfabetizzazione per garantire la veridicità nell'era dell'IA generativa.
Questo articolo valuta il potenziale di ChatGPT come co-pilota nei flussi di lavoro di data science, esaminando le sue capacità nell'esplorazione dei dati, nella visualizzazione e nelle attività di modellazione supervisionata e non supervisionata, pur sottolineando la necessità di considerare attentamente i suoi limiti nell'analisi empirica.
Questa rassegna offre una panoramica completa sull'uso degli agenti basati su modelli linguistici di grandi dimensioni (LLM) nel trading finanziario, analizzandone architetture, dati, prestazioni e sfide per delineare le future direzioni di ricerca.