1723 papers
Dit paper introduceert een stabiele NVFP4-pretraining-methode voor grote taalmodellen die, na het trainen van een 12 miljard parameter tellend model op 10 biljoen tokens, prestaties bereikt die vergelijkbaar zijn met een FP8-basislijn.
Dit paper introduceert PrefDisco, een evaluatiemethode en benchmark die statische taken omzet in interactieve scenario's om proactief gepersonaliseerd redeneren te testen, waarbij wordt aangetoond dat grote taalmodellen hierin nog niet vanzelfsprekend slagen en gerichte ontwikkeling vereisen om effectief te kunnen inspelen op individuele gebruikersvoorkeuren.
Dit paper introduceert Graph2Eval, een door kennisgrafieken aangedreven framework dat automatisch schaalbare en semantisch consistente multimodale taken genereert voor agenten, wat resulteert in een betrouwbaarder evaluatiebenchmark die hallucinaties en oplosbaarheidsproblemen van eerdere methoden oplost.
Dit artikel introduceert Graph-as-Memory Tuning (GMT), een nieuwe aanpak die lokale kennisgrafiekstructuren comprimeert tot expliciete geheugentokens en deze via diepe cross-attention in LLM's integreert om de prestaties bij het aanvullen van kennisgrafieken aanzienlijk te verbeteren ten opzichte van bestaande prefix-methode.
Deze paper introduceert AuthenHallu, het eerste hallucinatie-detectiebenchmark dat volledig is opgebouwd uit authentieke LLM-menselijke interacties om de beperkingen van kunstmatige benchmarks te overwinnen en inzicht te geven in de frequentie en aard van hallucinaties in reële scenario's.
Dit onderzoek toont aan dat smalle finetuning duidelijke, interpreteerbare sporen achterlaat in de activaties van grote taalmodellen die kunnen worden gebruikt om het trainingsdoel te reconstrueren, maar ook waarschuwt dat dergelijke modellen als proxy voor bredere finetuning-studies onrealistisch kunnen zijn.
Dit paper introduceert Grasp Any Region (GAR), een multimodaal groot taalmodel dat door middel van een nieuwe RoI-gealigneerde feature replay-techniek en de GAR-Bench-evaluatie, de beperkingen van eerdere modellen overwint door complexe, contextbewuste regionale interacties en samenstellende redenering mogelijk te maken.
Dit paper introduceert EchoMind, het eerste multi-niveau benchmark dat de empathische gespreksvaardigheden van spraaktaalmodellen evalueert door geïntegreerde taken voor tekstbegrip, stemgebruik en redenering te combineren, en onthult dat zelfs geavanceerde modellen moeite hebben met het verwerken van expressieve vocale aanwijzingen voor echte empathie.
Deze paper introduceert het Open Korean Historical Corpus, een openbaar domein dataset van 1,300 jaar met 17,7 miljoen documenten die diachronische taalkundige verschuivingen analyseert en dient als basis voor het trainen van grote taalmodellen.
Dit onderzoek toont aan dat taalmodellen kunnen worden getraind om activatiesturing te detecteren en de toegevoegde concepten te identificeren, wat impliceert dat dergelijke ingrepen niet onopgemerkt blijven en dat detectie zelfs de kwetsbaarheid voor sturing kan vergroten.
Dit paper introduceert FlyThinker, een efficiënt kader dat gelijktijdig redeneren en genereren mogelijk maakt om gepersonaliseerde lange teksten te produceren door een apart redeneringsmodel te gebruiken dat dynamische token-niveau-instructies genereert zonder de trainings- of inferentie-efficiëntie te compromitteren.
Het paper introduceert ReFusion, een nieuw gemaskerd diffusiemodel dat door het combineren van sequentiereorganisatie met causale attentie en het verschuiven van parallelle decoding naar het slotniveau, zowel de inferentiesnelheid aanzienlijk verhoogt als de prestaties van autoregressieve modellen benadert.
Het paper introduceert RePo, een nieuw mechanisme dat de extrinsieke cognitieve belasting in Large Language Models verlaagt door token-posities dynamisch te herschikken op basis van contextuele afhankelijkheden in plaats van een vaste lineaire volgorde, wat leidt tot verbeterde prestaties bij taken met ruis, gestructureerde data en lange contexten.
Dit paper introduceert MCP-SafetyBench, een uitgebreide benchmark op basis van echte MCP-servers die de kwetsbaarheid van grote taalmodellen voor veiligheidsrisico's in realistische multi-stap workflows blootlegt en de noodzaak van betere verdedigingsmechanismes benadrukt.
Dit onderzoek toont aan dat grote taalmodellen in tekstuele omgevingen kunnen fungeren als impliciete wereldmodellen die agentenprestaties verbeteren, mits er voldoende gedragsdekking en complexiteit is om de betrouwbaarheid en schaalbaarheid te waarborgen.
Dit paper introduceert Parallel Token Prediction (PTP), een raamwerk dat de snelheid van autoregressieve taalmodellen aanzienlijk verhoogt door meerdere tokens in één doorloop te voorspellen via het verschuiven van de bron van willekeur naar invoervariabelen, wat resulteert in een 2,4-voudige versnelling.
Deze studie toont aan dat hoewel planning en tools de prestaties van grote taalmodellen bij complexe feitelijke vragen kunnen verbeteren, ze vaak leiden tot aanzienlijke vertragingen en kostenstijgingen zonder consistente winst bij andere taken, wat benadrukt dat de keuze voor modelgrootte en agentcomplexiteit taalspecifiek en kostenbewust moet zijn.
Dit paper introduceert NeuronLLM, een nieuw raamwerk dat het biologische principe van functionele antagonisme toepast om zowel 'goede' als 'slechte' neuronen in grote taalmodellen te identificeren via contrastief leren, waardoor een holistisch begrip van taakniveau-controle wordt bereikt dat fortuïtous gedrag minimaliseert en de prestaties van bestaande methoden overtreft.
Dit paper introduceert F-Actor, het eerste open instructievolgende full-duplex conversatiemodel dat efficiënt kan worden getraind met beperkte middelen en expliciete instructies kan volgen om stem, onderwerp en gespreksdynamiek zoals onderbrekingen en feedback te controleren.
Dit paper toont aan dat grote taalmodellen door middel van patroonherkenning betekenis kunnen afleiden uit 'Jabberwocky'-teksten, wat aantoont dat patroonherkenning een essentieel onderdeel is van echte intelligentie en niet slechts een alternatief daarvoor.