11621 papers
Dit artikel introduceert AMiD, een unificerend kader voor kennisdistillatie van grote taalmodellen dat gebruikmaakt van een nieuwe -gemengde assistentverdeling om trainingsstabiliteit en prestaties te verbeteren door de beperkingen van eerdere methoden te overwinnen.
Dit artikel introduceert MAYA, een op multi-armed bandits gebaseerd sequentieel imitatieleermodel dat de beslissingen van bijen tijdens het foerageren nabootst en voorspelt door rekening te houden met hun beperkte geheugen, en dat hiermee uitblinkt in prestaties en interpretatie ten opzichte van bestaande methoden.
Dit artikel toont theoretisch en empirisch aan dat de Query-weights in self-attention transformers overbodig zijn en kunnen worden vervangen door een eenheidsmatrix, wat leidt tot een 25% reductie in parameters en een stabielere training zonder prestatieverlies.
Dit artikel toont aan dat de impliciete bias van per-stap Adam op lineair scheidbare data kan afwijken van de volledige-batch-regime en zelfs convergeren naar een -max-margin classifier, terwijl de bias van Signum onafhankelijk blijft van de batchgrootte.
Dit artikel introduceert CNFP, een nieuw diffusion-model dat Cloud-Native Network Functions effectief plaatst in het cloud-continuüm door het probleem te benaderen als een conditionele graf-naar-toewijzing generatie-taak, wat leidt tot schaalbare, haalbare oplossingen met snellere inferentie dan bestaande methoden.
Het paper introduceert NeuCLIP, een innovatief optimalisatiekader dat de contrastieve loss voor CLIP-modellen herschrijft via convex en variatieanalyse om een compact neuraal netwerk te gebruiken voor het nauwkeurig schatten van normalisatie-termen, waardoor de afhankelijkheid van enorme batchgroottes wordt doorbroken en de prestaties op grote datasets significant worden verbeterd.
Dit artikel karakteriseert de impliciete bias van het JKO-schema op tweede orde in de stapgrootte door te tonen dat het equivalent is aan een Wasserstein-gradiëntstroom op een gewijzigde energiefunctie die een straffing bevat die afhangt van de metriekkromming van de oorspronkelijke energie.
Dit onderzoek toont aan dat er een sterke positieve correlatie bestaat tussen de prestaties van audio-modellen in downstream-taken en hun mate van overeenkomst met hersenactiviteit, wat suggereert dat hersenachtige representaties een emergent bijproduct zijn van het leren van het reconstrueren van natuurlijke audio-gegevens.
EnECG is een efficiënt ensemble-framework dat gespecialiseerde foundation modellen voor elektrocardiogrammen combineert via een Mixture of Experts-mechanisme en Low-Rank Adaptation, waardoor de rekenkosten worden verlaagd terwijl de prestaties voor meerdere diagnostische taken worden geoptimaliseerd.
Deze paper introduceert 'Soft QD', een nieuwe formulering van kwaliteits-diversiteitsoptimalisatie die discretisatie overbodig maakt en leidt tot het schaalbare, differentieerbare algoritme SQUAD, dat concurrerend is met de state-of-the-art op standaard benchmarks en beter presteert in hoogdimensionale ruimtes.
Deze studie toont aan dat het beperken van de optimalisatie tot een voorgeïmplementeerde basis en LoRA-structuur leidt tot gewichtsruimtes die effectieve, semantisch gestructureerde representaties vormen die superieure generatiekwaliteit bieden in vergelijking met bestaande methoden.
Dit paper introduceert ceLLMate, een browser-uitbreiding die browser-gebaseerde AI-agenten beveelt tegen prompt-injectieaanvallen door hun macht te beperken op het HTTP-niveau, waardoor de kwetsbaarheid van laag-niveau UI-acties wordt omzeild met een minimale vertraging.
Dit paper introduceert NRR-Core, een computationeel raamwerk dat ambiguïteit behoudt in plaats van deze voortijdig op te lossen, door principes zoals niet-identiteit en niet-resolutie te implementeren om contextuele identiteit en interpretatieve flexibiliteit te waarborgen.
Dit artikel introduceert een intrinsiek driftbudget , gemeten in Fisher-Rao-afstand, om de prequential reproduceerbaarheid onder distributie-drift te karakteriseren door exogene verandering en feedback-gedreven drift te scheiden, waarbij wordt aangetoond dat de reproduceerbaarheidsfout begrensd wordt door .
Dit artikel introduceert BumpNet, een efficiënt en nauwkeurig raamwerk voor het oplossen van partiële differentiaalvergelijkingen en operatorleren, dat gebruikmaakt van een schaarse MLP-architectuur met volledig trainbare sigmoid-basisfuncties en universaliteit bewijst voor zowel functies als operatoren.
Dit artikel introduceert een volledig online algoritme voor distributioneel robuust versterkend leren met algemene functiebenadering dat, zonder afhankelijkheid van vooraf verzamelde data, robuuste beleidslijnen leert via interactie en sublineaire regret-garanties biedt op basis van de robuuste Bellman-Eluder-dimensie.
Dit paper introduceert OASI, een methode voor multi-objectieve Bayesiaanse optimalisatie die surrogate-modellen initialiseert met Pareto-biasseerde oplossingen om memory-feasible keyword-spotting-modellen voor TinyML-apparaten efficiënter te vinden dan bestaande methoden.
Dit artikel toont aan dat versterkt leren met verifieerbare beloningen (RLVR) de generalisatie van causale redenering bij grote taalmodellen verbetert ten opzichte van toezichtsfine-tuning, maar dat dit succes afhankelijk is van een voldoende initiële redeneercompetentie van het model.
Dit artikel introduceert het eerste deterministische iteratieve algoritme voor het construeren van een -coreset dat een -subruimte-inbedding garandeert voor elke , waarbij logaritmische factoren in de grootte van de coreset worden verwijderd om een optimale en deterministische oplossing te bieden voor -regressieproblemen.
Dit paper introduceert DevRev-Search, een benchmark en een schaalbaar framework voor multi-tenant zoeksystemen dat gebruikmaakt van een volledig geautomatiseerd datasetbouwpipeline en een indexbehoudende aanpassingsstrategie om alleen de query-encoder te finetunen, waardoor effectieve domeinadaptatie mogelijk wordt zonder kostbare herschrijving van documentindices.