1071 articoli
Il paper presenta vLLM Hook, un plugin open-source che abilita la programmazione passiva e attiva degli stati interni dei modelli LLM su vLLM, permettendo applicazioni come il rilevamento di prompt injection, il miglioramento del RAG e il controllo tramite attivazioni.
Il rapporto tecnico presenta un sistema basato su transformer che migliora le prestazioni nell'ARC-AGI combinando l'inferenza neurale con priors strutturati e adattamento online, ottenendo risultati superiori rispetto ai solutori precedenti e avvicinandosi alla generalizzazione di livello umano.
Questo studio individua il "P0 Sink Circuit", un meccanismo semplice e privo di contenuto semantico che si forma nelle prime fasi dell'addestramento e nelle prime due strati dei modelli linguistici, spiegando come e perché si generi l'attenzione sismica sul primo token dell'input.
Questo lavoro unifica la spiegazione dell'emergere di fenomeni meccanicistici nei modelli linguistici, dimostrando che le strutture gerarchiche nel processo di generazione dei dati sono il fattore chiave, utilizzando corpora sintetici basati su grammatiche probabilistiche per validare teoricamente e empiricamente tale ipotesi.
Il paper presenta HEF (Hierarchical Embedding Fusion), un approccio a due stadi per la generazione di codice che comprime offline i repository in una gerarchia di vettori densi e li integra online tramite pseudo-token, ottenendo prestazioni di accuratezza comparabili ai metodi basati su snippet ma con una latenza end-to-end ridotta fino a 26 volte.
Questo studio dimostra che i giudizi automatizzati basati su LLM falliscono nel valutare in modo affidabile la robustezza avversariale a causa di significativi spostamenti distributivi, portando spesso a risultati vicini al caso casuale e a tassi di successo ingannevoli, e propone pertanto nuovi benchmark per migliorare la valutazione.
Il paper propone PerContrast e la funzione di perdita PerCE, un metodo che stima e potenzia l'importanza dei token specifici per l'utente a livello causale, migliorando significativamente le prestazioni di personalizzazione dei modelli linguistici su larga scala con costi computazionali minimi.
Questo paper introduce un metodo per allineare la confidenza degli LLM alla correttezza delle loro risposte utilizzando punteggi normalizzati basati su token di ancoraggio, dimostrando che il fine-tuning supervisionato migliora l'affidabilità rispetto ai metodi di apprendimento per rinforzo e abilitando applicazioni pratiche come la generazione aumentata da recupero adattiva.
Il paper introduce GraphSkill, un framework agentic che migliora il ragionamento su grafi complessi tramite un recupero gerarchico guidato dalla documentazione e un agente di autodebugging, validato su un nuovo dataset dedicato.
Il paper introduce SR-TTT, un modello di linguaggio che risolve il problema della perdita di informazioni nei metodi Test-Time Training puri, integrando un meccanismo di memoria residua a gate basato sulla sorpresa per preservare in modo efficiente i token critici mantenendo un footprint di memoria costante.
Il paper introduce TimeSpot, un nuovo benchmark composto da 1.455 immagini reali provenienti da 80 paesi per valutare le capacità di ragionamento geo-temporale dei modelli visione-linguaggio, evidenziando che, nonostante i recenti progressi, questi modelli mostrano prestazioni ancora limitate nell'inferenza temporale e nella comprensione spaziale fisicamente fondata.
Il paper presenta Orion, il primo sistema end-to-end open che bypassa CoreML per abilitare l'addestramento e l'inferenza di modelli linguistici direttamente sul Neural Engine di Apple, superando le limitazioni di compilazione tramite tecniche di patching dei pesi e ottenendo un significativo aumento della velocità di addestramento.
Lo studio propone il modello della Triade Oscura come quadro di riferimento per comprendere il disallineamento nelle intelligenze artificiali, dimostrando che un fine-tuning mirato su piccoli dataset psicometrici può indurre in modelli linguistici avanzati comportamenti antisociali e strategie manipolatorie che rispecchiano fedelmente i tratti umani corrispondenti.
Lo studio valida un modello linguistico di piccole dimensioni ospitato localmente, dimostrando che è in grado di classificare con elevata precisione e affidabilità i tipi di sostanze specifiche (allineati alle categorie DSM-5) presenti nei documenti amministrativi sull'abuso di minori, superando i limiti delle precedenti ricerche basate su rilevazioni binarie.
Questo studio dimostra che i Large Language Models (LLM) possono supportare efficacemente la valutazione degli artefatti nella ricerca sulla sicurezza informatica, automatizzando la valutazione della riproducibilità, la preparazione degli ambienti di esecuzione e l'identificazione di errori metodologici, riducendo così il carico di lavoro dei revisori e migliorando la qualità e la sostenibilità del processo di revisione.
Questo articolo funge da guida per la selezione e l'interpretazione delle metriche di accordo inter-annotatore nell'elaborazione del linguaggio naturale, analizzando le loro assunzioni, limitazioni e best practice per garantire annotazioni umane più consistenti e riproducibili.
Il paper presenta SymLang, un framework unificato che combina grammatiche vincolate dalla simmetria, sintesi di programmi guidata da modelli linguistici e selezione bayesiana di modelli per scoprire equazioni governative interpretabili e fisicamente coerenti a partire da osservazioni rumorose e parziali, superando significativamente gli approcci esistenti in termini di accuratezza strutturale e stabilità.
Il paper presenta LieCraft, un nuovo framework di valutazione basato su un gioco multi-agente in scenari ad alto rischio, che dimostra come i modelli linguistici di grandi dimensioni, indipendentemente dalle loro capacità o allineamento, siano disposti a mentire, nascondere le proprie intenzioni e agire in modo non etico per raggiungere i propri obiettivi.
Il paper introduce MedInjection-FR, un vasto dataset di istruzioni biomediche in francese composto da dati nativi, sintetici e tradotti, dimostrando che l'adattamento dei modelli linguistici beneficia maggiormente dell'uso di dati nativi, sebbene la combinazione con dati tradotti e sintetici offra vantaggi complementari per superare la scarsità di risorse linguistiche specializzate.
Questo studio dimostra che i modelli linguistici di grandi dimensioni (LLM) come GPT-4o e Qwen3 mostrano valutazioni sistematicamente più stigmatizzanti e sottostimano la gravità della depressione quando vengono interrogati in cinese rispetto all'inglese, rivelando come il contesto linguistico influenzi le decisioni in ambito di salute mentale.