9290 papers
Dit onderzoek toont aan dat het modelleren van de auteurscontext, een oplossing voor de ecologische valkuil, de prestaties van een groter 8B Llama-model significant verbetert, zowel tijdens het fine-tunen met QLoRA als bij voortgezette pre-training via de HuLM-opdracht.
Deze paper presenteert een FPGA-versneller die de geheugengebonden bottleneck van de Gated DeltaNet-decode oplost door de recurrente toestand persistent in on-chip BRAM te houden, waardoor een 4,5x hogere snelheid en tot 60x betere energie-efficiëntie wordt bereikt vergeleken met een NVIDIA H100 GPU.
Dit paper introduceert een gestructureerd herschrijvingskader met impliciete stijlvorming dat kleine taalmodellen in staat stelt om met weinig data en zonder extra inferentie-tokenen hoogwaardige, consistent gestileerde rollenspellen te genereren, zelfs op consumenthardware.
Dit artikel presenteert een interpreteerbaar model dat psychologische theorieën combineert met taaldata van sociale media om dynamische mentale gezondheid te voorspellen door individuele eigenschappen en situationele context te integreren, waarbij theoriegedreven kenmerken concurrerende prestaties leveren met een hogere begrijpelijkheid dan pure taalembeddings.
Dit paper introduceert Omni-Masked Gradient Descent (OMGD), een geheugenefficiënte optimalisatiemethode voor het trainen van grote taalmodellen die niet alleen naadloos integreert met bestaande optimalisatoren, maar ook wiskundig bewezen een verbeterde convergentiecomplexiteit van biedt in niet-convexe settings.
Dit paper introduceert TADPO, een nieuwe versterkingsleerbenadering die PPO uitbreidt met off-policy trajecten voor begeleiding en on-policy trajecten voor exploratie, waarmee voor het eerst een op visie gebaseerd RL-systeem succesvol is ingezet voor hoogwaardig off-road rijden op een volledig schaalvoertuig via zero-shot sim-naar-real-overdracht.
Het artikel introduceert EvoESAP, een evolutionair zoekraamwerk dat een niet-uniforme, laag-specifieke expert-pruning toepast op Sparse Mixture-of-Experts-modellen via de ESAP-metriek, waardoor de prestaties bij open-ended generatie aanzienlijk worden verbeterd zonder de meerkeuze-accuraatheid te verliezen.
Deze paper toont aan dat het schalen van PPO naar meer dan één miljoen parallelle omgevingen, in combinatie met een zorgvuldige aanpassing van de hyperparameters, het probleem van leerstagnatie door slechte schattingen van de loss-functie oplost en monotoon prestatieverbetering mogelijk maakt tot een biljoen transities.
Dit artikel verbetert de bestaande analyse voor agnostisch leren onder Gaussische marginals door aan te tonen dat een polynoomgraad van voldoende is voor een -benadering, wat leidt tot (bijna) optimale complexiteitsgrenzen voor het leren van polynoomdrempelfuncties.
Dit artikel toont aan dat Langevin-dynamica, wanneer gecombineerd met het middelen van iteraties, de informatie-exponent-schaal kan bereiken voor het schatten van een verborgen richting in hoge dimensies, zonder dat expliciete gladmaking van het landschap nodig is.
Dit paper introduceert TempoSyncDiff, een lichtgewicht latent diffusion-framework dat via kennisdistillatie en tijdsregulatie realistische, stabiele en spraakgestuurde praatkop-generatie mogelijk maakt met een zeer lage latentie, zelfs op randapparatuur.
In dit werk introduceren de auteurs IR-GeoDiff, een latente diffusiemodel dat driedimensionale moleculaire structuren kan herstellen uit infraroodspectra door spectraal informatie te integreren in de voorstelling van moleculaire structuren.
Deze paper introduceert SGDF, een nieuwe optimizer die online momentumcoëfficiënten dynamisch aanpast via principes van optimaal lineair filteren om de balans tussen bias en variantie te optimaliseren en zo de prestaties van bestaande methoden te overtreffen.
Deze paper introduceert een methode waarbij Diffusie-taalmodellen de benodigde uitvoerlengte schatten op basis van de prompt, waardoor het contextvenster dynamisch kan worden ingekort voor aanzienlijke rekenefficiëntie zonder prestatieverlies.
Dit artikel introduceert DQE, een nieuwe semantisch bewuste evaluatiemetric voor tijdreeksanomaliedetectie die bestaande beperkingen oplost door een semantisch gefundeerde partitie-strategie en een aggregatie over het volledige drempelspectrum te gebruiken voor een robuustere en interpreteerbaardere beoordeling.
Dit paper introduceert een methode voor reinforcement learning in LLMs waarbij het optimaliseren van een subset van toekomstige beloningen leidt tot betrouwbaardere schattingen en het vergelijken van verschillende policy-classes, zoals volledige planning en K-stap vooruitkijken, voor conversatieproblemen.
Dit artikel bewijst dat Predictive Coding Graphs (PCGs) een wiskundige superverzameling vormen van feedforward neurale netwerken, waardoor ze een breder kader bieden voor machine learning en de studie van netwerktopologieën.
Dit onderzoek toont aan dat ensemble Graph Neural Networks voor probabilistische zeewateroppervlaktetemperatuurvoorspellingen, waarbij diversiteit wordt gegenereerd door gestructureerde invoerperturbaties zoals Perlin-ruis in plaats van hertraining, een goed gekalibreerde onzekerheidsrepresentatie bieden zonder extra trainingskosten.
Het paper introduceert OMEGA, een efficiënte methode voor vectorzoekopdrachten die met één model en lage voorverwerkingstijd nauwkeurige resultaten levert voor queries met verschillende K-waarden, waardoor het zowel trager dan bestaande methoden is en minder voorverwerkingstijd vereist.
Dit paper introduceert een tweestapskader dat contrastief leren op gelabelde alfabetten combineert met zelftoezicht via leraar-leerling distillatie om robuuste, vervormingsinvariante embeddings te leren voor het vaststellen van scriptgelijkenis zonder betrouwbare grondwaarheid over historische relaties.