1071 papers
Dit paper toont aan dat het gebruik van Low-Rank Adaptation (LoRA) in federatief leren voor grote taalmodellen de onbedoelde memorisatie van trainingsdata tot wel tien keer vermindert zonder significante prestatieverliezen, zelfs in risicovolle domeinen zoals geneeskunde, recht en financiën.
Het artikel introduceert LaVCa, een data-gedreven methode die grote taalmodellen gebruikt om gedetailleerde natuurlijke taalbeschrijvingen te genereren voor de selectiviteit van neurale populaties in de visuele cortex, waarmee de beperkingen van bestaande diepe-neurale-netwerkmodellen worden overwonnen en fijnmazigere inzichten in menselijke visuele representaties worden verkregen.
Dit paper introduceert het Clustering-On-Difficulty (COD)-framework, dat taken clusteren op basis van hun schaalingsmoeilijkheid om een nauwkeurige voorspelling van de downstream-prestaties van grote taalmodellen mogelijk te maken, zelfs bij het optreden van emergente fenomenen.
Dit paper introduceert HaLoRA, een hardwarebewuste methode die de energie-efficiëntie van een hybride Compute-in-Memory-architectuur combineert met de nauwkeurigheid van Large Language Models door een robuuste Low-Rank Adaptatie te trainen die de inherente ruis van RRAM-geheugen compenseert.
Hoewel grote taalmodellen vrouwelijke karakters vaker genereren dan in de realiteit het geval is, vertonen hun verhalen over beroepen nog steeds een sterkere overeenkomst met genderstereotypen dan met feitelijke arbeidsmarktgegevens, wat wijst op de blijvende uitdaging om deze vooroordelen effectief te mitigeren.
Deze paper introduceert EDU-PRM, een nieuw trainingsframework dat gebruikmaakt van entropie-gedreven onzekerheid om complexe redeneerstappen automatisch te segmenteren zonder dure handmatige annotaties, waardoor het op het ProcessBench-benchmark presteert met slechts 1,5% van de trainingsdata en tegelijkertijd de nauwkeurigheid verhoogt terwijl het tokenverbruik met 32% daalt.
Dit paper introduceert CAWAI, een nieuw retrieval-model dat door middel van dubbele trainingsdoelen zowel semantische als causale relaties in kaart brengt om de nauwkeurigheid van informatieopzoeking in kennisintensieve domeinen te verbeteren.
Dit onderzoek toont aan dat het combineren van Large Language Models voor het extraheren van cognitieve en taalkundige kenmerken met boomgebaseerde machine learning-algoritmen een nauwkeuriger methode biedt om de moeilijkheidsgraad van K-5 wiskunde- en leesitems te voorspellen dan directe schattingen door LLM's, waardoor de afhankelijkheid van uitgebreide veldtests kan worden verminderd.
Dit paper introduceert Task 5 van de DCASE 2025 Challenge, een meerdimensionale benchmark voor audio-vraag-antwoordtaken die de redeneervermogens van audio-taalmodellen in diverse akoestische domeinen evalueert.
FreeKV is een trainingsvrije, co-geoptimaliseerde framework dat de efficiëntie van KV-cache-retrieval voor grote taalmodellen aanzienlijk verbetert door speculatieve retrieval en hybride geheugenlayouts te combineren, waardoor een snelheidswinst tot 13x wordt bereikt met minimale nauwkeurigheidsverlies.
Dit paper introduceert een neuro-symbolische aanpak die grote taalmodellen combineert met analoge probleemoplossing en een formele verificateur om de betrouwbaarheid en nauwkeurigheid van het genereren van wiskundige bewijzen in de euclidische meetkunde aanzienlijk te verbeteren.
Het paper introduceert MAS-ZERO, het eerste zelfevoluerende raamwerk voor het ontwerpen van multi-agent systemen zonder toezicht dat tijdens de inferentie dynamisch agentconfiguraties aanpast en verfijnt op basis van meta-feedback, waardoor het aanzienlijk beter presteert dan bestaande handmatige en automatische methoden op diverse complexe taken.
Dit paper introduceert HDLxGraph, een nieuw framework dat Large Language Models koppelt aan HDL-repositories via grafische databases en Abstract Syntax Trees om de beperkingen van traditionele RAG-systemen bij complexe hardware-beschrijvingsopdrachten te overwinnen, ondersteund door een nieuw benchmark-dataset genaamd HDLSearch.
SwingArena is een competitief evaluatiekader voor grote taalmodellen dat realistische softwareontwikkelingswerkstromen nabootst door interactieve patchgeneratie en CI-gedreven validatie te combineren met een retrieval-augmented module voor het oplossen van lange-context GitHub-issues.
Dit paper introduceert MMTU, een uitgebreid benchmark met meer dan 28.000 vragen over 25 real-world tabellataken, om de complexiteit van het begrijpen, redeneren en manipuleren van tabellen door geavanceerde AI-modellen te evalueren en aan te tonen dat er nog aanzienlijke ruimte voor verbetering is.
Het paper introduceert CyclicReflex, een trainingsvrije decoderingsstrategie die de prestaties van grote redeneermodellen verbetert door de frequentie en plaatsing van reflectietokens dynamisch te reguleren via een cyclisch scheduling-mechanisme, vergelijkbaar met het plannen van leersnelheden.
Dit paper introduceert MeRF, een methode die de prestaties van versterkingslering bij grote redeneringsmodellen verbetert door de beloningsfunctie expliciet in de prompt te integreren als 'motivatie', waardoor het model de optimalisatiedoelstellingen beter begrijpt en sneller leert.
Dit paper introduceert een methode genaamd Self-Grounded Verification (SGV) die de neiging van multimodale taalmodellen om agenten-acties te overdreven te valideren (de 'agreement bias') vermindert, waardoor de nauwkeurigheid van verifiers en de prestaties van agenten in taken zoals webnavigatie en robotica aanzienlijk worden verbeterd.
Dit paper introduceert het UGST-framework om de beperkingen van huidige LLM-gebaseerde gebruikerssimulatoren in het behalen van doelen in meervoudige conversaties aan te pakken, waardoor aanzienlijke verbeteringen worden bereikt in de doelgerichtheid en betrouwbaarheid voor downstream-toepassingen.
Het paper introduceert MathSmith, een nieuw framework dat door middel van reinforcement learning en strategieën voor synthetische probleemgeneratie vanuit PlanetMath hoogwaardige en uitdagende wiskundige oefeningen creëert om het redeneervermogen van grote taalmodellen aanzienlijk te verbeteren.