11095 papers
Dit paper introduceert ROSE, een geoptimaliseerde versie van SparseGPT die door middel van een twee-niveau herschikking van de pruning-sequentie gebaseerd op geschatte verlieswaarden, de prestaties van één-slag (one-shot) pruning van grote taalmodellen aanzienlijk verbetert.
PixARMesh is een autoregressieve methode die vanuit één RGB-afbeelding complete, artistiek bruikbare 3D-interieurscènes reconstrueert door objectindeling en geometrie direct in een unifyd model te voorspellen, zonder afhankelijkheid van impliciete afstandsvelden of latere optimalisatie.
Dit paper introduceert drie technieken om bias in Concept Bottleneck Models te verminderen, waardoor deze modellen zowel eerlijker als interpreteerbaarder worden voor beeldclassificatie.
Dit paper introduceert Reference-guided Policy Optimization (RePO), een nieuwe methode die de zwaktes van bestaande technieken oplost door het combineren van verifieerbare beloningen voor exploratie en referentiesturing voor exploitatie, waardoor Large Language Models effectiever kunnen worden getraind voor moleculaire optimalisatie zonder stap-voor-stap trainingsdata.
Dit artikel introduceert een geïntegreerd kader dat een node-transformerarchitectuur combineert met BERT-gebaseerde sentimentanalyse om de aandelenmarkt als een graaf te modelleren, wat resulteert in een significante verbetering van de voorspellingsnauwkeurigheid en richtingsefficiëntie voor S&P 500-aandelen ten opzichte van traditionele methoden.
Deze paper introduceert 'Artificial Replay', een nieuw experimenteel ontwerp dat de kosten van het vergelijken van multi-armed bandit-algoritmen halveert door bestaande trajecten opnieuw te gebruiken, terwijl het tegelijkertijd een onbevooroordeelde schatter biedt met een sublineaire variantie.
Dit paper introduceert Weak-SIGReg, een efficiëntere variant van SIGReg die de covariance-matrix regulariseert via random sketching om het instabiele trainen van diepe netwerken, zoals Vision Transformers zonder architecturale hacks, te stabiliseren en representatie-ineenstorting te voorkomen.
Dit onderzoek toont aan dat het modelleren van de auteurscontext, een oplossing voor de ecologische valkuil, de prestaties van een groter 8B Llama-model significant verbetert, zowel tijdens het fine-tunen met QLoRA als bij voortgezette pre-training via de HuLM-opdracht.
Deze paper presenteert een FPGA-versneller die de geheugengebonden bottleneck van de Gated DeltaNet-decode oplost door de recurrente toestand persistent in on-chip BRAM te houden, waardoor een 4,5x hogere snelheid en tot 60x betere energie-efficiëntie wordt bereikt vergeleken met een NVIDIA H100 GPU.
Dit paper introduceert een gestructureerd herschrijvingskader met impliciete stijlvorming dat kleine taalmodellen in staat stelt om met weinig data en zonder extra inferentie-tokenen hoogwaardige, consistent gestileerde rollenspellen te genereren, zelfs op consumenthardware.
Dit artikel presenteert een interpreteerbaar model dat psychologische theorieën combineert met taaldata van sociale media om dynamische mentale gezondheid te voorspellen door individuele eigenschappen en situationele context te integreren, waarbij theoriegedreven kenmerken concurrerende prestaties leveren met een hogere begrijpelijkheid dan pure taalembeddings.
Dit paper introduceert Omni-Masked Gradient Descent (OMGD), een geheugenefficiënte optimalisatiemethode voor het trainen van grote taalmodellen die niet alleen naadloos integreert met bestaande optimalisatoren, maar ook wiskundig bewezen een verbeterde convergentiecomplexiteit van biedt in niet-convexe settings.
Dit paper introduceert TADPO, een nieuwe versterkingsleerbenadering die PPO uitbreidt met off-policy trajecten voor begeleiding en on-policy trajecten voor exploratie, waarmee voor het eerst een op visie gebaseerd RL-systeem succesvol is ingezet voor hoogwaardig off-road rijden op een volledig schaalvoertuig via zero-shot sim-naar-real-overdracht.
Het artikel introduceert EvoESAP, een evolutionair zoekraamwerk dat een niet-uniforme, laag-specifieke expert-pruning toepast op Sparse Mixture-of-Experts-modellen via de ESAP-metriek, waardoor de prestaties bij open-ended generatie aanzienlijk worden verbeterd zonder de meerkeuze-accuraatheid te verliezen.
Deze paper toont aan dat het schalen van PPO naar meer dan één miljoen parallelle omgevingen, in combinatie met een zorgvuldige aanpassing van de hyperparameters, het probleem van leerstagnatie door slechte schattingen van de loss-functie oplost en monotoon prestatieverbetering mogelijk maakt tot een biljoen transities.
Dit artikel verbetert de bestaande analyse voor agnostisch leren onder Gaussische marginals door aan te tonen dat een polynoomgraad van voldoende is voor een -benadering, wat leidt tot (bijna) optimale complexiteitsgrenzen voor het leren van polynoomdrempelfuncties.
Dit artikel toont aan dat Langevin-dynamica, wanneer gecombineerd met het middelen van iteraties, de informatie-exponent-schaal kan bereiken voor het schatten van een verborgen richting in hoge dimensies, zonder dat expliciete gladmaking van het landschap nodig is.
Dit paper introduceert TempoSyncDiff, een lichtgewicht latent diffusion-framework dat via kennisdistillatie en tijdsregulatie realistische, stabiele en spraakgestuurde praatkop-generatie mogelijk maakt met een zeer lage latentie, zelfs op randapparatuur.
In dit werk introduceren de auteurs IR-GeoDiff, een latente diffusiemodel dat driedimensionale moleculaire structuren kan herstellen uit infraroodspectra door spectraal informatie te integreren in de voorstelling van moleculaire structuren.
Deze paper introduceert SGDF, een nieuwe optimizer die online momentumcoëfficiënten dynamisch aanpast via principes van optimaal lineair filteren om de balans tussen bias en variantie te optimaliseren en zo de prestaties van bestaande methoden te overtreffen.