1726 articoli
Questo studio esplora le origini del bias di genere nei modelli di traduzione neurale analizzando, tramite spiegazioni contrastive e attribuzione di salienza, quali token di input influenzano la scelta del genere nelle traduzioni e confrontando tali meccanismi con le percezioni umane.
Il paper propone NRR-Core, un nuovo quadro computazionale che sfida l'architettura attuale dell'IA trattando la ritenzione dell'ambiguità come una modalità di ragionamento valida attraverso principi di non-identità e tracciamento contestuale, evitando così il collasso semantico prematuro.
Questo studio analizza sistematicamente i pregiudizi politici, ideologici, geopolitici, linguistici e di genere presenti in quattro ampiamente utilizzati modelli linguistici su larga scala, rivelando che, nonostante i tentativi di allineamento alla neutralità, questi modelli mantengono diverse forme di inclinazione e bias.
Questo studio dimostra che il Reinforcement Learning con ricompense verificabili (RLVR) migliora la generalizzazione nel ragionamento causale rispetto al fine-tuning supervisionato, ma solo quando applicato a modelli con competenza iniziale sufficiente, ottimizzando strategie di marginalizzazione e riducendo errori nei calcoli probabilistici intermedi.
Il paper introduce DevRev-Search, un benchmark e una strategia di adattamento che preservano l'indice, permettendo di sfruttare i dati "oscuri" dei sistemi di ricerca multi-tenant tramite un processo automatizzato di costruzione del dataset e il fine-tuning efficiente solo dell'encoder delle query.
Questo lavoro propone un paradigma di apprendimento post-addestramento in cui i grafi di conoscenza fungono da modelli di ricompensa impliciti, permettendo a un modello da 14B di eccellere nel ragionamento compositivo multi-hop in ambito medico e superare sistemi frontieri molto più grandi grazie a segnali di ricompensa derivati dai percorsi che favoriscono la composizione di assiomi intermedi.
Il paper presenta NRR-Phi, un framework formale che mappa il testo in uno stato non collassante per preservare l'ambiguità semantica durante l'inferenza dei modelli linguistici, combinando rilevamento di conflitti ed estrazione di interpretazioni per evitare la prematura convergenza su un'unica risposta.
Questo studio presenta il primo approccio empirico per insegnare ai modelli linguistici a astenersi nel rispondere a domande temporali incerte, dimostrando che l'addestramento tramite apprendimento per rinforzo supera le tecniche di supervisione tradizionale, migliorando significativamente l'accuratezza e l'affidabilità rispetto a modelli come GPT-4o.
Il paper propone REAL, un nuovo framework che riformula l'ottimizzazione della politica nei modelli linguistici con ricompense verificabili come un problema di classificazione per risolvere le inefficienze dei metodi RLVR esistenti, ottenendo risultati superiori e una maggiore stabilità su benchmark di ragionamento matematico.
Il paper introduce SureLock, un metodo che accelera il decoding dei modelli di linguaggio a diffusione mascherata bloccando i token già convergenti per ridurre i costi computazionali del 30-50% senza compromettere la qualità della generazione.
Questo studio dimostra che i modelli di ragionamento avanzati (LRM) non migliorano necessariamente le prestazioni nei compiti di Teoria della Mente rispetto ai modelli non ragionanti, rivelando invece tendenze al collasso del ragionamento prolungato, alla dipendenza da scorciatoie di abbinamento delle opzioni e la necessità di strategie adattive e specifiche per il ragionamento sociale.
Questo studio presenta il primo dataset NLP per il dialetto Meenzerisch di Magonza, dimostrando che i modelli linguistici su larga scala attuali non riescono a generare definizioni o parole in questo dialetto con sufficiente accuratezza, evidenziando così la necessità urgente di ulteriori risorse e ricerche per la preservazione dei dialetti tedeschi.
Questo articolo presenta un nuovo dataset ceco per l'analisi del sentiment basata sugli aspetti arricchito con termini di opinione, valuta le prestazioni dei modelli Transformer e degli LLM in diversi scenari linguistici e propone un metodo di allineamento tramite traduzione per migliorare le risorse nelle lingue a bassa risorsa.
Lo studio evidenzia che, per l'implementazione clinica in contesti a risorse limitate, i modelli open-source di piccole dimensioni come Llama 3.2 offrono il miglior compromesso tra accuratezza e coerenza, dimostrando al contempo che un'elevata coerenza nelle risposte non garantisce la correttezza e che il pre-addestramento settoriale da solo è insufficiente senza un'adeguata istruzione.
Questo studio analizza la robustezza dei modelli esistenti per l'estrazione di relazioni zero-shot in scenari realistici, evidenziando i limiti delle attuali assunzioni e proponendo strategie per modelli a passaggio singolo con meccanismi di rifiuto, concludendo che AlignRE si distingue come la soluzione più efficace.
Questo studio evidenzia i rischi di privacy nei sistemi di dialogo basati su LLM, proponendo nuove tecniche di attacco per estrarre dati di addestramento memorizzati e analizzando i fattori che influenzano tale memorizzazione per sviluppare strategie di mitigazione mirate.
Questo lavoro presenta un framework di annotazione basato su grafi per le narrazioni economiche che integra l'analisi qualitativa dei contenuti per ridurre gli errori, dimostrando attraverso un esperimento fattoriale che le rappresentazioni localmente vincolate e le metriche di distanza appropriate migliorano l'accordo tra annotatori e la gestione della variazione umana nell'etichettatura.
Questo capitolo esamina l'attuale panorama dei rilevatori di testi generati da IA, ne delinea l'uso responsabile e presenta un'analisi empirica sulla capacità di generalizzazione di tali strumenti tra diversi modelli linguistici, fornendo indicazioni per il loro sviluppo pratico.
Questo articolo evidenzia i limiti di TeX nell'era dei modelli linguistici su larga scala e propone Mogan STEM, un editor strutturato WYSIWYG che supera TeX in efficienza di compilazione, localizzazione degli errori e ottimizzazione per l'addestramento di LLM grazie al suo formato .tmu a bassa entropia.
Il paper propone un framework di collaborazione multi-agente basato sul processo "Proposta-Valutazione-Rivisione" e sull'apprendimento per rinforzo per migliorare l'estrazione degli argomenti degli eventi a livello di documento in scenari zero-shot, superando i limiti dei metodi attuali nella generazione e valutazione di dati sintetici.