7919 papers
Dit paper biedt de eerste theoretische scheiding tussen Adam en SGD door aan te tonen dat de tweede-momentnormalisatie in Adam zorgt voor een scherpere staart in de convergentie, met een afhankelijkheid van in plaats van de noodzakelijke bij SGD.
Deze studie introduceert Compositional Probe Decomposition (CPD) om aan te tonen dat taakalignatie, meer dan de modelarchitectuur, bepaalt in hoeverre atomaire foundation models geometrische en compositie-informatie lineair ontkoppelen, waarbij symmetrie-gebaseerde routepatronen en een waarschuwing tegen niet-lineaire probes worden geïdentificeerd.
Dit paper introduceert XInsight, een multi-agent framework dat digitale psychologische ondersteuning structureert volgens het 'Exploration-Insight-Action'-paradigma met gespecialiseerde agents voor case-conceptualisering, therapeutische routing en reflectie, en introduceert XInsight-Bench voor transparante evaluatie om de bruikbaarheid van dergelijke systemen voor digitaal welzijn te vergroten.
Dit paper introduceert vLLM Hook, een open-source plug-in die programmabele toegang biedt tot de interne staten van vLLM-modellen, waardoor zowel passieve analyse als actieve interventie mogelijk wordt voor toepassingen zoals het detecteren van prompt-injecties en het verbeteren van RAG-systemen.
Dit paper introduceert de Isotonic Layer, een nieuw differentieerbaar raamwerk dat via monotoon geconstrueerde segmenten en leerbare embeddings systematische vertekeningen in aanbevelingssystemen corrigeert, wat resulteert in betere kalibratie, eerlijkheid en prestaties in productieomgevingen.
Dit onderzoek identificeert de 'P0 Sink Circuit' als een semantiek-onafhankelijk mechanisme dat in de eerste twee lagen van grote taalmodellen zorgt voor de vorming van een aandachtssink op het eerste token, wat dient als een indicator voor de convergentie van pre-training.
Dit artikel toont aan dat hiërarchische structuren in het data-generatieproces de onderliggende oorzaak zijn van de opkomst van diverse mechanistische fenomenen in taalmodellen, en biedt een unificerende verklaring en synthetische hulpmiddelen voor interpretatieonderzoek.
Dit paper introduceert Hierarchical Embedding Fusion (HEF), een tweestapsmethode die repository-informatie comprimeert naar een vaste set pseudo-tokens, waardoor de latency voor repository-gebaseerde codegeneratie aanzienlijk wordt verlaagd zonder in te leveren op de nauwkeurigheid.
Dit paper introduceert FuzzingRL, een methode die fuzzing en versterkingsfinetuning combineert om automatisch uitdagende vragen te genereren die de kwetsbaarheden van Vision Language Models onthullen en hun prestaties aanzienlijk verminderen.
Dit paper introduceert SWAN (Switchable Activation Networks), een raamwerk dat neurale eenheden van deterministische, input-afhankelijke binaire poorten voorziet om computationele efficiëntie te verhogen door adaptieve activatiepatronen te leren die zowel dynamische inferentie als compacte implementatie mogelijk maken.
Dit paper introduceert het Khatri-Rao-clusteringparadigma, dat traditionele centroid-gebaseerde methoden zoals k-Means en deep clustering uitbreidt door centra te modelleren als interacties van protocentra, waardoor aanzienlijk beknoptere en even nauwkeurige datasamenvattingen worden gegenereerd.
Dit artikel toont aan dat data-duplicatie bij het voorbewerken van taalmodellen schaalafhankelijk is, waarbij semantische duplicaten bij grotere modellen steeds meer als exacte duplicaten fungeren en leiden tot verslechterende generalisatie en afwijkende schaalwetten.
Dit paper introduceert een genormaliseerde betrouwbaarheidsscore die fouten en hallucinaties in grote taalmodellen detecteert, en onthult dat supervisie fine-tuning (SFT) betere kalibratie biedt dan versterkingsleermethoden, terwijl het een post-RL SFT-strategie voorstelt om deze betrouwbaarheid te herstellen en efficiëntere retrieval-augmented generation (RAG) mogelijk te maken.
Dit artikel introduceert STAR-Set, een structure-bewuste Set Transformer die asynchrone klinische tijdsreeksen effectiever verwerkt door zachte attention-biasen toe te voegen voor tijdslokaliteit en variabele-affiniteit, wat leidt tot superieure prestaties op diverse IC-predictietaken vergeleken met bestaande methoden.
Deze paper introduceert LegoNet, een compressietechniek die blokken van modelgewichten clusteren om het geheugengebruik van neurale netwerken tot wel 128 keer te verminderen zonder hertraining, architectuurwijzigingen of verlies aan nauwkeurigheid.
Deze paper introduceert een gestructureerd benchmarkkader met geïsoleerde interferentiegames en uitgebreide datasets om de specifieke uitdagingen van multi-agent deep reinforcement learning voor C-V2X-resourceallocatie te ontrafelen, waarbij blijkt dat robustheid en generalisatie over diverse voertuigtopologieën de grootste obstakels vormen.
Deze paper introduceert de Two-Bridge Map Suite, een open-source benchmark voor StarCraft II die als tussenliggend niveau fungeert tussen de volledige game en mini-games, waardoor onderzoekers tactische vaardigheden kunnen bestuderen zonder de hoge rekenkosten van de volledige game.
Dit artikel introduceert een praktische methode die de Conditionele Randomisatietest combineert met het tabulaire foundationmodel TabPFN om geldige p-waarden te genereren voor het testen van de relevantie van individuele kenmerken, zelfs in complexe, niet-lineaire en gecorreleerde scenario's zonder dat hertraining of parametrische aannames nodig zijn.
Dit paper introduceert CapTrack, een kadersysteem dat vergeten in LLMs na post-training definieert als systematische gedragsdrift in plaats van alleen feitelijke kennisverlies, en via een grote empirische studie aantoont dat instructie-finetuning de grootste drift veroorzaakt terwijl voorkeursoptimalisatie conservatiever is.
Dit paper introduceert DeepScope, een diep-leringsysteem dat microscopische beelden van niet-geïncubeerde watermonsters analyseert om fecale vervuiling binnen seconden met 93% nauwkeurigheid te detecteren, waardoor de testtijd met meer dan 98% wordt verkort en de kosten dalen tot $0,44 per test.