2384 articoli
Il paper introduce "Routing without Forgetting" (RwF), un'architettura transformer che risolve il problema dell'apprendimento continuo online senza dimenticare, sostituendo l'adattamento graduale dei parametri con un routing dinamico basato su reti di Hopfield moderne per generare prompt contestuali in un singolo passaggio.
Questo lavoro propone un formalismo generale basato su principi di conservazione dell'energia e azione estrema per approssimare la retropropagazione nel tempo (BPTT) in modo biologicamente plausibile, estendendo il modello di Equilibrio Latente Generalizzato (GLE) per fornire un quadro rigoroso per l'apprendimento spaziotemporale nel cervello e per circuiti fisici.
Questo paper introduce l'ingegneria del contesto come disciplina fondamentale per gestire l'ambiente informativo degli agenti AI autonomi, proponendo un modello di maturità a quattro livelli che integra ingegneria del contesto, dell'intento e delle specifiche per superare le sfide di scalabilità e allineamento strategico nelle implementazioni aziendali.
Questo lavoro presenta un framework interpretabile basato su modelli visione-linguaggio per la generazione e valutazione di dati sintetici nel telerilevamento, introducendo il dataset ARAS400k che dimostra come l'addestramento su dati reali aumentati con dati sintetici superi le prestazioni dei modelli basati solo su dati reali per segmentazione semantica e descrizione di immagini.
Il paper introduce PRECEPT, un quadro unificato per l'adattamento al momento del test che combina recupero deterministico di regole, memoria consapevole dei conflitti e un ciclo esterno guidato da Pareto (COMPASS) per migliorare significativamente la resilienza, la generalizzazione composizionale e la robustezza degli agenti LLM rispetto alla conoscenza obsoleta o avversaria.
Il paper propone MM-tau-p², un nuovo benchmark con 12 metriche innovative per valutare in modo olistico e automatizzato la robustezza degli agenti multi-modali basati su LLM in ambienti a doppio controllo, considerando l'adattamento alla personalità dell'utente e le sfide specifiche dei settori telecomunicazioni e retail.
Il paper introduce MiniAppBench, il primo benchmark completo per valutare la generazione di applicazioni interattive basate su HTML da parte dei modelli linguistici, accompagnato da MiniAppEval, un framework di valutazione automatizzato che supera i limiti delle metriche tradizionali misurando l'allineamento con il giudizio umano su intenzione, staticità e dinamicità.
Il paper presenta KV-Lock, un metodo senza addestramento per i modelli di diffusione video basati su DiT che migliora la qualità del primo piano mantenendo la coerenza dello sfondo, regolando dinamicamente il blocco delle chiavi-valori e la scala della guida condizionale in base al rischio di allucinazione.
Il paper presenta un framework open-source per la rilevazione di anomalie nelle serie temporali basato su GNN, dimostrando attraverso una valutazione critica che tali modelli migliorano sia le prestazioni di rilevazione che l'interpretabilità, pur evidenziando le carenze nelle attuali pratiche di valutazione.
Il paper propone il framework Omni Parsing, che unifica la gestione di dati multimodali eterogenei attraverso una tassonomia comune e un paradigma di parsing progressivo basato su rilevamento olistico, riconoscimento dettagliato e interpretazione multilivello, per trasformare segnali non strutturati in conoscenza logica standardizzata e tracciabile, supportata dal modello Logics-Parsing-Omni e dal benchmark OmniParsingBench.
Il paper introduce EsoLang-Bench, un nuovo benchmark basato su linguaggi di programmazione esotici privi di incentivi economici per l'addestramento, che rivela come i modelli linguistici di frontiera, nonostante le alte prestazioni sui test standard, falliscano nel dimostrare un ragionamento genuino quando devono apprendere nuovi linguaggi tramite documentazione e feedback.
Questo studio presenta un framework di classificazione automatizzata per la gestione del rischio cardiaco negli anziani, dimostrando che un'architettura Transformer personalizzata supera sia i metodi tradizionali che i modelli linguistici generici nell'analisi di lunghe storie cliniche non strutturate.
Il paper presenta AutoViVQA, un dataset su larga scala per il Visual Question Answering in vietnamita costruito automaticamente, e ne esamina l'efficacia utilizzando architetture basate su transformer e confrontando diverse metriche di valutazione automatica in contesti multilingue.
Il paper presenta ESAinsTOD, un framework unificato end-to-end per il dialogo orientato al compito che, attraverso l'addestramento su istruzioni e meccanismi di allineamento allo schema, supera i modelli esistenti offrendo prestazioni superiori, maggiore robustezza al rumore e capacità di generalizzazione in scenari a risorse limitate.
Il paper introduce ActiveUltraFeedback, una pipeline di apprendimento attivo modulare che riduce significativamente i costi di annotazione dei dati di preferenza per l'allineamento dei modelli linguistici, ottenendo prestazioni superiori o paragonabili a quelle dei metodi statici con solo un sesto dei dati necessari.
Il paper propone Mousse, un nuovo ottimizzatore che combina la stabilità spettrale di Muon con l'adattabilità geometrica di Shampoo tramite una precondizionamento consapevole della curvatura, ottenendo una riduzione del 12% dei passi di addestramento per modelli linguistici senza sovraccarichi computazionali significativi.
Il paper introduce OOD-MMSafe, un benchmark e un framework di ottimizzazione chiamato CASPO, per superare la "cecità causale" dei modelli MLLM spostando l'allineamento alla sicurezza dalla semplice rilevazione delle intenzioni malevole alla previsione delle conseguenze nascoste.
Il paper introduce MUGEN, un benchmark completo che rivela le carenze dei modelli audio-linguistici nella comprensione di più audio simultanei e dimostra che strategie di inferenza senza addestramento, come la permutazione degli input e il ragionamento a catena, possono migliorare significativamente le prestazioni.
Il paper propone CVS, un metodo di selezione dei dati privo di addestramento che utilizza un VLLM congelato per identificare campioni che richiedono un ragionamento congiunto visione-linguaggio, migliorando le prestazioni dei modelli multimodali con meno dati e costi computazionali ridotti.
Il paper presenta AutoAgent, un framework multi-agente auto-evolutivo che integra cognizione dinamica, orchestrazione elastica della memoria e decisioni contestuali in tempo reale per superare i limiti degli agenti autonomi statici in ambienti non stazionari.