2316 papers
Dit artikel toont aan dat neurale netwerken bij het leren van conditionele relaties eerst een marginaal plateau bereiken dat wordt gestabiliseerd door gradiëntruis, voordat ze een scherpe collectieve overgang maken naar volledige conditionele kennis.
Dit artikel introduceert Stochastic Port-Hamiltonian Neural Networks (SPH-NNs), een architectuur die passiviteit garandeert en universeel de dynamiek van stochastische port-Hamiltoniaanse systemen kan benaderen met verbeterde nauwkeurigheid en energiebehoud op lange termijn vergeleken met standaard netwerken.
Dit artikel biedt een kwantitatieve theorie voor de 'catapult-fase' in SGD-training van ondiepe netwerken, waarbij een expliciete criteriumfunctie bepaalt of er met hoge waarschijnlijkheid grote spikes optreden of dat de kans hierop exponentieel afneemt.
Dit paper introduceert Amnesia, een lichtgewicht aanvalstechniek die interne transformer-activaties manipuleert om bestaande veiligheidsmechanismen in open-weight grote taalmodellen te omzeilen en zo schadelijke inhoud te genereren zonder aanvullende training.
Dit paper introduceert een methode voor multi-stadiaresidulair leren in quantummodellen om de 'Fourier-parameteriseringsbias' te mitigeren en zo de expressiviteit voor het leren van meerdere frequentiecomponenten aanzienlijk te verbeteren.
Dit paper introduceert Multi-Level Concept Splitting (MLCS) en Deep-HiCEMs om diepe, mensinterpreteerbare concepthiërarchieën te ontdekken uit slechts top-niveau supervisie, waardoor modellen zowel nauwkeuriger worden als beter interpreteerbaar en manipuleerbaar op verschillende abstractieniveaus.
Het paper introduceert KernelSkill, een multi-agent framework dat de efficiëntie van GPU-kernels verbetert door impliciete heuristieken te vervangen door kennisgedreven vaardigheden en een dubbel niveau van geheugen, wat resulteert in aanzienlijke snelheidswinsten en een hogere succesratio ten opzichte van eerdere methoden.
Deze paper introduceert ES-dLLM, een trainingsvrij raamwerk dat de inferentie van diffusion-taalmodellen versnelt door tokens in vroege lagen te overslaan op basis van variatie in tussentijdse representaties, wat resulteert in een tot 16,8 keer hogere snelheid zonder kwaliteitsverlies.
Deze survey introduceert Weight Space Learning als een nieuw onderzoeksgebied dat neurale netwerkgewichten als een gestructureerd domein behandelt, en biedt een unificerende taxonomie van methoden voor het begrijpen, representeren en genereren van gewichten om toepassingen zoals modelretrieval en kennisoverdracht te faciliteren.
Deze paper introduceert Equivariant Asynchronous Diffusion (EAD), een nieuw diffusion-model dat een adaptief, asynchroon ontmiddelingschema gebruikt om de hiërarchische structuur van moleculen beter te vangen en zo de prestaties bij het genereren van 3D-moleculaire conformaties te verbeteren.
Dit paper introduceert TS_Adam, een lichtgewicht variant van de Adam-optimizer die door het verwijderen van de tweede-orde correctie de prestaties van tijdreeksvoorspellingmodellen aanzienlijk verbetert bij niet-stationaire data met distributiedrift.
Dit paper introduceert Code-Space Response Oracles (CSRO), een nieuw raamwerk dat Large Language Models gebruikt om in plaats van ondoorzichtige neurale netten interpreteerbare, menselijke code te genereren voor multi-agent beleidsstrategieën, waardoor complexe speltheoretische evenwichten transparanter en betrouwbaarder worden.
Dit paper introduceert BlueDown, een nieuwe post-processing-methode die de nauwkeurigheid en consistentie van de door het Amerikaanse Census Bureau gegenereerde demografische datasets verbetert door een statistisch optimaal hiërarchisch regressie-algoritme te combineren met geavanceerde optimalisatie voor het behoud van privacy en structurele constraints.
Dit paper introduceert een hardware-efficiënte "soft sparsity"-benadering met een instelbare fouttolerantie die, via een aangepaste RISC-V-instructie, de reken- en stroomverbruik van CNN's aanzienlijk verlaagt zonder in te leveren op nauwkeurigheid.
Het CLIPO-papier introduceert een contrastief leermethode binnen beleidsoptimalisatie die het RLVR-framework generaliseert door de consistentie van tussenstappen te waarborgen, waardoor hallucinaties worden onderdrukt en de robuustheid en generalisatie van redenerende grote taalmodellen aanzienlijk worden verbeterd.
Dit artikel toont aan dat het "Lost in the Middle"-fenomeen een inherente geometrische eigenschap is van de architectuur van causal decoders die al bij initialisatie aanwezig is, ongeacht training of positiële encoding, en wordt veroorzaakt door de interactie tussen causale masking en residual connections.
Deze paper introduceert een nieuwe methode voor ongecontroleerde clustering van hyperspectrale beelden die onbalans optimaal transport en barycentra gebruikt om de beperkingen van eerdere gebalanceerde benaderingen te overwinnen, waardoor robuustere en scherpere clusterresultaten worden bereikt.
Dit artikel introduceert een neurale operator die, zonder expliciete fysische regularisatie, uit beperkte data de volledige trillingsfrequentieresponscurve van een lineair systeem kan voorspellen met een nauwkeurigheid van 99,87%, waardoor het ontwerp- en testproces van engineeringcomponenten aanzienlijk kan worden versneld.
Dit paper introduceert Mashup Learning, een methode die door het samenvoegen van de meest relevante historische checkpoints een betere startpositie biedt voor het finetunen van taalmodellen, wat leidt tot hogere nauwkeurigheid en aanzienlijk snellere convergentie vergeleken met training vanaf nul.
Dit paper introduceert ReMix, een nieuwe routeringsmethode voor Mixture-of-LoRAs die het probleem van onbalans in leerbare routingsgewichten oplost door niet-leerbare gewichten te combineren met een onbevooroordeelde gradiëntschatter op basis van reinforcement learning, wat leidt tot een aanzienlijk betere prestatie dan bestaande parameter-efficiënte finetuning-methoden.