1072 articoli
Il paper propone di sostituire la proiezione di output densa nell'attenzione multi-testa con una trasformata di Hadamard di Walsh fissa e priva di parametri seguita da un ridimensionamento affine leggero, ottenendo una significativa riduzione dei parametri e dei costi di inferenza mantenendo o migliorando le prestazioni sui benchmark.
Questo studio introduce un nuovo framework computazionale e un dataset diagnostico per valutare come i modelli linguistici affrontano il "proviso problem" nella pragmatica, rivelando che, sebbene i loro giudizi si allineino a quelli umani, lo fanno basandosi su abbinamenti superficiali piuttosto che su un vero ragionamento semantico o pragmatico.
Questo capitolo esamina i recenti progressi nei modelli computazionali che, attraverso l'apprendimento auto-supervisionato e la fondazione visiva, spiegano come gli infanti acquisiscano il linguaggio da input acustici e audiovisivi senza ricorrere a precondizioni linguistiche, dimostrando come principi di apprendimento condivisi possano unificare diverse teorie sullo sviluppo cognitivo.
Questo studio dimostra che combinare l'iterazione adattiva degli strati e banchi di memoria gating nei transformer permette di superare le prestazioni di modelli isoflop molto più profondi, sfruttando il looping per il ragionamento matematico e la memoria per i compiti di senso comune.
Il paper presenta QUORUM, un framework di valutazione che unisce le prospettive di sviluppatori, esperti e utenti, e COACH, una pipeline basata su LLM per generare consigli sullo stile di vita personalizzati per pazienti oncologici, dimostrando come un approccio multi-stakeholder sia essenziale per sviluppare sistemi di linguaggio sanitario affidabili e centrati sul paziente.
Il paper presenta ToCoRL, un framework che sfrutta la plasticità comportamentale intrinseca dei modelli linguistici di grandi dimensioni, rivelata attraverso la generazione condizionata ai token, per internalizzare tramite apprendimento per rinforzo adattamenti comportamentali stabili che permettono un controllo preciso delle modalità di risposta (come passare dal ragionamento passo-passo alla risposta diretta) senza degradare le capacità del modello.
Il paper presenta Sandpiper, un sistema misto che integra dashboard interattive e motori LLM per scalare l'analisi qualitativa dei discorsi educativi digitali, garantendo al contempo privacy, rigore metodologico e affidabilità attraverso l'orchestrazione vincolata e la de-identificazione automatica.
Il paper dimostra che il segnale di preferenza alla base del Reinforcement Learning from Human Feedback (RLHF) è vulnerabile a fenomeni di "cecità alla scelta" sia umani che artificiali, rivelando come le preferenze siano costruite dal contesto di elicita-zione piuttosto che riflettere stati interni stabili, il che compromette l'efficacia dell'addestramento dei modelli.
Il paper propone un metodo che equipaggia gli agenti LLM con capacità di recupero native mappando direttamente gli stati nascosti in uno spazio di embedding tramite un leggero strato di proiezione, eliminando la necessità di un modello di embedding separato e mantenendo il 97% della qualità del recupero rispetto alla pipeline standard.
Il paper introduce VET-Bench, un test diagnostico che rivela l'incapacità degli attuali modelli visione-linguaggio di tracciare oggetti indistinguibili, proponendo e validando il metodo SGCoT che supera il 90% di accuratezza generando esplicitamente le traiettorie degli oggetti come stati intermedi.
Questo studio prospettico di fattibilità dimostra che un'intelligenza artificiale conversazionale basata su modelli linguistici (AMIE) può condurre in sicurezza colloqui clinici e formulare diagnosi differenziali in un contesto di cure primarie reale, ottenendo un'alta soddisfazione dei pazienti e una qualità delle diagnosi paragonabile a quella dei medici, sebbene i medici superino l'AI nella praticità e nel costo delle terapie proposte.
Questo lavoro introduce il primo dataset gratuito in inglese-svedese per analizzare le preferenze dei modelli linguistici verso il "translationese", rivelando che tali modelli tendono a favorire traduzioni letterali rispetto a formulazioni idiomatiche, specialmente quando esposti alla frase sorgente.
LycheeCluster è un metodo innovativo per la gestione efficiente della cache KV nei modelli linguistici su contesti lunghi, che combina un'analisi semantica dei blocchi e un indicizzazione gerarchica per ridurre la complessità di ricerca da lineare a logaritmica, ottenendo un'accelerazione fino a 3,6 volte rispetto agli stati dell'arte.
Il paper presenta Fanar-Sadiq, un assistente islamico bilingue basato su un'architettura multi-agente che combina recupero di informazioni, calcolo deterministico e verifica delle fonti per fornire risposte precise e radicate nei testi canonici su zakat, eredità e giurisprudenza, superando le limitazioni degli attuali modelli linguistici.
Il paper introduce Drift2Act, un controller che trasforma il monitoraggio della deriva dei dati in un processo decisionale vincolato, combinando stime di drift e certificati di rischio online per attivare interventi sicuri e a basso costo, garantendo il rispetto dei vincoli di budget e riducendo le violazioni di sicurezza.
Il paper introduce OfficeQA Pro, un benchmark per valutare le capacità di ragionamento fondato su documenti degli agenti AI, rivelando che anche i modelli linguistici più avanzati faticano a ottenere risultati affidabili su un vasto corpus di bollettini del Tesoro degli Stati Uniti, sebbene l'uso di rappresentazioni documentali strutturate possa migliorare significativamente le prestazioni.
Il paper presenta CODA, un metodo che ottimizza l'allocazione dinamica delle risorse computazionali nei modelli di ragionamento adattivo, riducendo i costi sui compiti semplici e aumentando la deliberazione su quelli difficili attraverso un segnale interno di difficoltà, senza richiedere annotazioni esterne.
Questo lavoro analizza l'apprendimento per rinforzo non supervisionato con ricompense verificabili (URLVR), rivelando che i metodi intrinseci tendono al collasso del modello a causa di un allineamento errato tra confidenza e correttezza, mentre le ricompense esterne basate sull'asimmetria computazionale offrono una potenziale via di fuga per superare questi limiti di scalabilità.
Il paper propone l'Agentic Critical Training (ACT), un paradigma di apprendimento per rinforzo che supera i limiti dell'imitazione addestrando gli agenti a identificare autonomamente le azioni migliori tra alternative, sviluppando così una genuina capacità di auto-riflessione che migliora significativamente le prestazioni e la generalizzazione rispetto ai metodi esistenti.
Lo studio analizza le prestazioni di ChatGPT in cardiologia e patologie vascolari, dimostrando che il modello ha superato due studenti di medicina nel rispondere correttamente a un set di 190 domande a scelta multipla, ottenendo un punteggio del 92,10%.