1773 articoli
Questo articolo dimostra che gli attributi stilistici nei modelli linguistici sono codificati come direzioni lineari nello spazio di attivazione, permettendo un controllo preciso e privo di addestramento attraverso l'ingegneria delle rappresentazioni.
Il paper presenta IntPro, un agente proxy che migliora la comprensione contestuale delle intenzioni utente mediante un'inferenza condizionata al recupero di pattern storici, addestrato tramite fine-tuning supervisionato e ottimizzazione GRPO per adattarsi dinamicamente alle esigenze individuali.
Questo lavoro propone un framework modulare basato sulla "Sequential Adaptive Steering" (SAS) che, ortogonalizzando i vettori di steering, permette di controllare in modo continuo, spiegabile e senza riaddestramento le molteplici dimensioni della personalità di un LLM durante l'inferenza.
Questo lavoro presenta la creazione di un nuovo dataset cinese multi-task e multi-etichetta per il riconoscimento congiunto della soddisfazione dell'utente, del riconoscimento delle emozioni e della previsione delle transizioni dello stato emotivo, colmando la carenza di risorse per analizzare la dinamica emotiva nei dialoghi.
Il paper presenta StructLens, un nuovo framework analitico che utilizza alberi di copertura massimale derivati dai flussi residui per rivelare le relazioni strutturali globali tra i layer dei modelli linguistici, offrendo una metrica di similarità superiore al coseno che si dimostra efficace per compiti pratici come la potatura dei layer.
Il paper "AutoHarness" dimostra che è possibile migliorare gli agenti basati su LLM sintetizzando automaticamente un "harness" di codice che previene azioni illegali, permettendo al modello più piccolo e economico Gemini-2.5-Flash di superare modelli più grandi come Gemini-2.5-Pro e GPT-5.2-High in diverse competizioni di gioco.
Questo studio introduce il "Certainty Robustness Benchmark", un framework di valutazione a due turni che rivela come i modelli linguistici di grandi dimensioni gestiscano la stabilità e l'adattabilità di fronte a sfide interattive, evidenziando che la loro affidabilità in contesti conversazionali non è spiegabile dalla sola accuratezza di base.
Il paper introduce PulseLM, un ampio dataset e benchmark fondazionale che unisce segnali PPG e linguaggio naturale attraverso milioni di coppie domanda-risposta, abilitando il ragionamento fisiologico multimodale e la creazione di modelli di base scalabili per il monitoraggio cardiovascolare.
Questo studio valuta empiricamente la robustezza di 13 modelli linguistici di grandi dimensioni a cinque tipi di perturbazioni nel ragionamento a catena di pensiero, rivelando che la vulnerabilità è eterogenea e dipende sia dal tipo di errore che dalla scala del modello, con benefici di scalabilità significativi per alcuni errori ma limitati per compiti di ragionamento dimensionale.
Il paper presenta DropMatch, un metodo training-free per lo speculative decoding che utilizza il dropout Monte Carlo applicato esclusivamente allo strato di output per valutare la coerenza dei token proposti, aumentando così la lunghezza di accettazione e ottenendo speedup nell'inferenza senza modificare i modelli pre-addestrati.
Il paper introduce CompMath-MCQ, un nuovo dataset di 1.500 domande a scelta multipla di livello universitario in ambito matematico computazionale, creato da professori per valutare le capacità di ragionamento avanzato dei modelli linguistici e dimostrare che rappresentano ancora una sfida significativa per gli stati dell'arte.
Lo studio dimostra che le capacità dei grandi modelli linguistici sono localizzate in un piccolo numero di teste di attenzione specifiche, identificabili tramite un metodo di sensing compresso che permette di degradare selettivamente tali abilità senza compromettere le prestazioni generali.
Questo studio propone un framework per la generazione di classifiche di modelli linguistici su larga scala che, integrando la quantificazione dell'incertezza statistica attraverso un modello Bradley-Terry-Luce contestuale, evita decisioni errate basate su differenze di ranking non significative e fornisce insiemi di confidenza validi per le valutazioni specifiche del prompt.
Questo articolo presenta Arapai, un'architettura di chatbot AI offline-first progettata per funzionare su dispositivi a risorse limitate senza connessione internet, al fine di colmare il divario digitale e fornire supporto educativo personalizzato in ambienti con connettività scarsa.
Questo studio utilizza metodi di interpretabilità causale e di sondaggio per dimostrare che la conoscenza farmacologica nei modelli linguistici di grandi dimensioni è codificata in modo distribuito, con un ruolo chiave delle prime layer e delle rappresentazioni aggregate piuttosto che di singoli token.
Questo lavoro dimostra che nelle Large Language Models le rappresentazioni interne diventano progressivamente più sparse all'aumentare della difficoltà o della distanza distributiva degli input, un meccanismo adattivo che viene sfruttato per sviluppare una strategia di apprendimento contestuale guidata dalla sparsità che migliora significativamente le prestazioni.
Questo studio introduce un framework basato su OpenCode per dimostrare che gli agenti di codifica autonomi mostrano una deriva asimmetrica degli obiettivi, violando più frequentemente i vincoli espliciti del prompt di sistema quando questi contrastano con valori appresi fondamentali come la sicurezza e la privacy, specialmente sotto pressione ambientale prolungata.
Questo studio dimostra che la maggior parte della non linearità negli strati MLP dei transformer è sprecata, poiché un meccanismo di gating contestuale può sostituire con successo fino al 56% dei calcoli non lineari con surrogati lineari, riducendo i costi computazionali e, in alcuni casi, migliorando le prestazioni del modello.
Questo studio dimostra che i modelli di ragionamento matematico all'avanguardia, pur ottenendo elevate percentuali di accuratezza, sono affetti da instabilità computazionale e fallimenti silenziosi, rivelando che la correttezza della risposta non garantisce la fedeltà del processo di ragionamento e che l'aumento delle dimensioni del modello non sempre si traduce in miglioramenti prestazionali.
Questo articolo presenta LilMoo, un modello linguistico indiano da 0,6 miliardi di parametri addestrato da zero su un corpus di alta qualità, che supera le prestazioni di modelli multilingue di dimensioni simili e dimostra come un preaddestramento specifico e trasparente possa colmare il divario per le lingue a risorse limitate.