3340 papers
Dit paper introduceert eXplicit Sharpness-Aware Minimization (XSAM), een verbeterde implementatie die de beperkingen van de bestaande SAM-methode overwint door de richting van het maximum expliciet te schatten en een effectieve zoekruimte te creëren, wat resulteert in consistente prestatieverbeteringen met verwaarloosbare rekenkosten.
Dit paper introduceert InFusionLayer, een open-source Python-tool die Combinatorial Fusion Analysis (CFA) technieken, zoals de RSC-functie en cognitieve diversiteit, integreert in een ensemble-leerarchitectuur om de prestaties van multiclassificatieproblemen te verbeteren en compatibel is met PyTorch, TensorFlow en Scikit-learn.
Deze paper introduceert FlowSem-MAE, een protocol-natief tabulair pretrainingsparadigma dat de inductieve bias-mismatch van bestaande byte-sequentiemethoden oplost door protocolsemantiek te respecteren, waardoor het encrypted traffic classificatie aanzienlijk verbetert met slechts de helft van de gelabelde data.
Het artikel introduceert OMNIGUIDE, een flexibel raamwerk dat de prestaties van algemene robotbeleidmodellen (VLA's) op complexe taken aanzienlijk verbetert door diverse bronnen van geleiding om te zetten in differentieerbare energiefuncties die de actie-sampling sturen.
Dit paper introduceert CAADRL, een deep reinforcement learning-framework dat de clusterstructuur van Pickup and Delivery-problemen expliciet benut via cluster-bewuste codering en hiërarchische decoding om state-of-the-art prestaties te bereiken met aanzienlijk lagere inferentiële latentie dan bestaande methoden.
Dit artikel bevestigt na twintig jaar het vermoeden dat de volumegemiddelde Ricci-scalar in informatiegeometrie voor boom- en volledige-graaf netwerken kwantisatie vertoont, weerlegt het echter voor algemene netwerken door tegenvoorbeelden aan te tonen en breidt de theorie uit naar Gaussische netwerken met een teken-dichotomie tussen discrete en continue structuren.
Dit onderzoek toont aan dat het voorpre-trainen van grote taalmodellen op synthetische, niet-taalgebonden data gegenereerd door neurale cellulaire automaten de prestaties en convergentie significant verbetert, zelfs ten opzichte van veel grotere hoeveelheden natuurlijk taaldata.
Dit paper introduceert HTMuon, een verbeterde versie van de Muon-optimizer die door middel van heavy-tailed spectrale correctie de prestaties van LLM's en beeldclassificatie verbetert door de beperkingen van de oorspronkelijke orthogonale update-regel te overwinnen.
Deze paper introduceert SAPO, een methode die met slechts één regel code de trainingsinstabiliteit van bestaande zoekagenten oplost door een conditionele token-level KL-beperking toe te passen, wat leidt tot een aanzienlijke prestatieverbetering op diverse benchmarks.
Dit paper presenteert de eerste toepassing van sparse autoencoders op het tijdreeks-foundationmodel Chronos-T5, waarbij wordt aangetoond dat causaal kritieke kenmerken zich bevinden in de middenlagen die abrupte dynamiek detecteren, in plaats van in de semantisch rijkste laatste laag.
Dit artikel toont aan dat neurale netwerken bij het leren van conditionele relaties eerst een marginaal plateau bereiken dat wordt gestabiliseerd door gradiëntruis, voordat ze een scherpe collectieve overgang maken naar volledige conditionele kennis.
Dit artikel introduceert Stochastic Port-Hamiltonian Neural Networks (SPH-NNs), een architectuur die passiviteit garandeert en universeel de dynamiek van stochastische port-Hamiltoniaanse systemen kan benaderen met verbeterde nauwkeurigheid en energiebehoud op lange termijn vergeleken met standaard netwerken.
Dit artikel biedt een kwantitatieve theorie voor de 'catapult-fase' in SGD-training van ondiepe netwerken, waarbij een expliciete criteriumfunctie bepaalt of er met hoge waarschijnlijkheid grote spikes optreden of dat de kans hierop exponentieel afneemt.
Dit paper introduceert Amnesia, een lichtgewicht aanvalstechniek die interne transformer-activaties manipuleert om bestaande veiligheidsmechanismen in open-weight grote taalmodellen te omzeilen en zo schadelijke inhoud te genereren zonder aanvullende training.
Dit paper introduceert een methode voor multi-stadiaresidulair leren in quantummodellen om de 'Fourier-parameteriseringsbias' te mitigeren en zo de expressiviteit voor het leren van meerdere frequentiecomponenten aanzienlijk te verbeteren.
Dit paper introduceert Multi-Level Concept Splitting (MLCS) en Deep-HiCEMs om diepe, mensinterpreteerbare concepthiërarchieën te ontdekken uit slechts top-niveau supervisie, waardoor modellen zowel nauwkeuriger worden als beter interpreteerbaar en manipuleerbaar op verschillende abstractieniveaus.
Het paper introduceert KernelSkill, een multi-agent framework dat de efficiëntie van GPU-kernels verbetert door impliciete heuristieken te vervangen door kennisgedreven vaardigheden en een dubbel niveau van geheugen, wat resulteert in aanzienlijke snelheidswinsten en een hogere succesratio ten opzichte van eerdere methoden.
Deze paper introduceert ES-dLLM, een trainingsvrij raamwerk dat de inferentie van diffusion-taalmodellen versnelt door tokens in vroege lagen te overslaan op basis van variatie in tussentijdse representaties, wat resulteert in een tot 16,8 keer hogere snelheid zonder kwaliteitsverlies.
Deze survey introduceert Weight Space Learning als een nieuw onderzoeksgebied dat neurale netwerkgewichten als een gestructureerd domein behandelt, en biedt een unificerende taxonomie van methoden voor het begrijpen, representeren en genereren van gewichten om toepassingen zoals modelretrieval en kennisoverdracht te faciliteren.
Deze paper introduceert Equivariant Asynchronous Diffusion (EAD), een nieuw diffusion-model dat een adaptief, asynchroon ontmiddelingschema gebruikt om de hiërarchische structuur van moleculen beter te vangen en zo de prestaties bij het genereren van 3D-moleculaire conformaties te verbeteren.