4885 papers
Dit artikel introduceert -GaBO, een nieuwe familie van Bayesiaanse optimalisatie-algoritmen voor het waarschijnlijkheidssimplex die gebaseerd is op informatiegeometrie en superieure prestaties laat zien ten opzichte van traditionele benaderingen in diverse toepassingen.
Dit paper introduceert In-Context RLVR, een methode die de kwaliteit van redeneringen binnen grote taalmodellen verbetert door in-Context Learning te gebruiken om beloningen automatisch te herwegen op basis van de bewijskracht van de oplossing, waardoor hoogwaardige redeneertraces meer gewicht krijgen dan die welke slechts per ongeluk tot het juiste antwoord leiden.
Dit paper introduceert de 'smoothing pseudo-projector', een lichtgewicht correctiemodule die is geïnspireerd op het multigrid-paradigma en de robuustheid en trainingsdynamiek van transformer-modellen verbetert door ruis te onderdrukken zonder de kernarchitectuur te wijzigen.
Dit paper introduceert een nieuw hiërarchisch multi-task multi-fidelity framework voor Gaussian processen dat de uitdagingen van grote databehoeften en heterogene datakwaliteit in de productie-effectieve surrogate-modellering tegelijkertijd aanpakt, wat resulteert in een tot 23% hogere voorspellingnauwkeurigheid.
Dit paper introduceert HR-GAT, een hiërarchisch opgezet grafisch aandachtmodel dat geospatiale data gebruikt om de vraag naar spectrum nauwkeuriger te voorspellen dan bestaande methoden, wat essentieel is voor efficiënt spectrumbeheer.
Dit paper introduceert GAST, een innovatieve methode voor parameter-efficiënt fine-tuning van grote taalmodellen die door middel van een geünificeerde optimalisatiestrategie gelijktijdig de meest effectieve data-punten selecteert voor specifieke modellagen, waardoor redundantie wordt verminderd en de prestaties ten opzichte van bestaande methoden worden verbeterd.
Deze paper introduceert CarbonBench, het eerste wereldwijde benchmark voor het evalueren van zero-shot leermethoden om koolstoffluxen nauwkeurig te upscalen naar onbemonsterde ecosystemen, gebaseerd op meer dan 1,3 miljoen dagelijkse observaties van 567 meetstations.
Dit paper introduceert MSSR, een ervaringherhaalframework voor continue fine-tuning van grote taalmodellen dat op basis van geschatte geheugensterkte van individuele samples adaptieve herhalingsintervallen toepast om catastrofale vergeten te verminderen zonder de aanpassingssnelheid te vertragen.
Dit paper introduceert OptEMA, een adaptieve variant van de Exponential Moving Average voor stochastische optimalisatie die zonder kennis van Lipschitz-constanten werkt en in het ruisvrije regime een bijna optimale convergentiesnelheid bereikt zonder handmatige herschikking van hyperparameters.
Dit paper onthult dat generatief drijven in wezen score-matching is, en biedt een spectrale en variationale theorie die de convergentie-eigenschappen verklaart, de keuze voor kernels onderbouwt en de noodzaak van de stop-gradient-operator voor stabiel training bewijst.
Dit paper introduceert SignalMC-MED, een multimodaal benchmark voor het evalueren van biosignaal-fundamentmodellen op gesynchroniseerde ECG- en PPG-gegevens, waarbij wordt vastgesteld dat domeinspecifieke modellen en multimodale fusie superieure prestaties leveren voor diverse klinische taken.
Dit artikel introduceert de Overfitting-Underfitting Indicator (OUI) als een efficiënt, vroeg signaal dat op basis van neuronale activatiepatronen al na 10% van de training succesvolle leerstappen in PPO-actor-critic modellen kan onderscheiden van instabiele of suboptimale configuraties.
Dit paper introduceert neurale debuggers, taalmodellen die traditionele debuggers nabootsen door interactieve controle over Python-uitvoering te bieden, waardoor zowel voorwaartse als achterwaartse uitvoeringsvoorspelling mogelijk wordt en de basis wordt gelegd voor geavanceerde agentische coderingssystemen.
Dit paper introduceert een nieuwe familie van gemiddeld genormaliseerde operatornormen en de MOGA-optimizer om breedte-onafhankelijke stabiliteit en effectieve hyperparameter-overdracht te garanderen voor neurale netwerken, waarbij het de stabiliteit van Muon verbetert en snellere prestaties bereikt in grote-token en laag-verlies regimes.
Dit paper introduceert C2FMAE, een hiërarchisch maskerend autoencoder-model dat de spanning tussen contrastief leren en gemaskeerde beeldmodellering oplost door een grof-naar-fijn leerproces te gebruiken dat semantische, object- en pixelniveaus combineert voor robuustere visuele representaties.
In tegenstelling tot mensen, die bij nadenken minder eerlijk worden, blijkt dat redenering bij grote taalmodellen de eerlijkheid verhoogt doordat het proces de modellen door een vertegenwoordigingsruimte leidt waar eerlijke antwoorden stabieler zijn dan leugenachtige.
Dit paper introduceert Bag-of-Words Superposition (BOWS) om aan te tonen dat in realistische scenario's met gecorreleerde features, superpositie constructieve interferentie kan genereren die semantische clusters en cyclische structuren vormt, in plaats van dat interferentie uitsluitend als ruis moet worden gefilterd zoals in het standaardbeeld van superpositie wordt aangenomen.
Deze paper introduceert het TAM-RL-framework, dat representatieleren koppelt aan fysisch onderbouwde beperkingen om de nauwkeurigheid en generaliseerbaarheid van het opschalen van terrestrische koolstofstromen aanzienlijk te verbeteren.
In dit paper presenteren de auteurs twee online neurale netwerkbenaderingen voor het detecteren van veranderingen in tijdsreeksen die lineaire computationele complexiteit hebben, sneller convergeren naar optimale oplossingen en beter presteren dan bestaande methoden op zowel synthetische als real-world datasets.
De auteurs stellen een nieuwe semi-parametrische BART-methode voor die covariaten in zowel het lineaire als het niet-parametrische component toelaat door de boomgeneratiebewegingen aan te passen, waardoor vertekening en niet-identificeerbaarheid worden opgelost en complexe interacties kunnen worden gemodelleerd, wat wordt gevalideerd via simulaties en toepassingen op onderwijsdata.