8107 papers
Dit paper introduceert CGL, een continu leerframework voor GUI-agenten dat Supervised Fine-Tuning en Reinforcement Learning dynamisch combineert via een entropie-gestuurde aanpassing en een gradiëntchirurgie-strategie om aanpassing aan nieuwe taken te bevorderen zonder oude kennis te vergeten, wat wordt gevalideerd op het nieuwe AndroidControl-CL-benchmark.
Dit paper biedt de eerste theoretische scheiding tussen Adam en SGD door aan te tonen dat de tweede-momentnormalisatie in Adam zorgt voor een scherpere staart in de convergentie, met een afhankelijkheid van in plaats van de noodzakelijke bij SGD.
Deze studie introduceert Compositional Probe Decomposition (CPD) om aan te tonen dat taakalignatie, meer dan de modelarchitectuur, bepaalt in hoeverre atomaire foundation models geometrische en compositie-informatie lineair ontkoppelen, waarbij symmetrie-gebaseerde routepatronen en een waarschuwing tegen niet-lineaire probes worden geïdentificeerd.
Dit paper introduceert XInsight, een multi-agent framework dat digitale psychologische ondersteuning structureert volgens het 'Exploration-Insight-Action'-paradigma met gespecialiseerde agents voor case-conceptualisering, therapeutische routing en reflectie, en introduceert XInsight-Bench voor transparante evaluatie om de bruikbaarheid van dergelijke systemen voor digitaal welzijn te vergroten.
Dit paper introduceert vLLM Hook, een open-source plug-in die programmabele toegang biedt tot de interne staten van vLLM-modellen, waardoor zowel passieve analyse als actieve interventie mogelijk wordt voor toepassingen zoals het detecteren van prompt-injecties en het verbeteren van RAG-systemen.
Dit paper introduceert de Isotonic Layer, een nieuw differentieerbaar raamwerk dat via monotoon geconstrueerde segmenten en leerbare embeddings systematische vertekeningen in aanbevelingssystemen corrigeert, wat resulteert in betere kalibratie, eerlijkheid en prestaties in productieomgevingen.
Dit onderzoek identificeert de 'P0 Sink Circuit' als een semantiek-onafhankelijk mechanisme dat in de eerste twee lagen van grote taalmodellen zorgt voor de vorming van een aandachtssink op het eerste token, wat dient als een indicator voor de convergentie van pre-training.
Dit artikel toont aan dat hiërarchische structuren in het data-generatieproces de onderliggende oorzaak zijn van de opkomst van diverse mechanistische fenomenen in taalmodellen, en biedt een unificerende verklaring en synthetische hulpmiddelen voor interpretatieonderzoek.
Dit paper introduceert Hierarchical Embedding Fusion (HEF), een tweestapsmethode die repository-informatie comprimeert naar een vaste set pseudo-tokens, waardoor de latency voor repository-gebaseerde codegeneratie aanzienlijk wordt verlaagd zonder in te leveren op de nauwkeurigheid.
Dit paper introduceert FuzzingRL, een methode die fuzzing en versterkingsfinetuning combineert om automatisch uitdagende vragen te genereren die de kwetsbaarheden van Vision Language Models onthullen en hun prestaties aanzienlijk verminderen.
Dit paper introduceert SWAN (Switchable Activation Networks), een raamwerk dat neurale eenheden van deterministische, input-afhankelijke binaire poorten voorziet om computationele efficiëntie te verhogen door adaptieve activatiepatronen te leren die zowel dynamische inferentie als compacte implementatie mogelijk maken.
Dit paper introduceert het Khatri-Rao-clusteringparadigma, dat traditionele centroid-gebaseerde methoden zoals k-Means en deep clustering uitbreidt door centra te modelleren als interacties van protocentra, waardoor aanzienlijk beknoptere en even nauwkeurige datasamenvattingen worden gegenereerd.
Dit artikel toont aan dat data-duplicatie bij het voorbewerken van taalmodellen schaalafhankelijk is, waarbij semantische duplicaten bij grotere modellen steeds meer als exacte duplicaten fungeren en leiden tot verslechterende generalisatie en afwijkende schaalwetten.
Dit paper introduceert een genormaliseerde betrouwbaarheidsscore die fouten en hallucinaties in grote taalmodellen detecteert, en onthult dat supervisie fine-tuning (SFT) betere kalibratie biedt dan versterkingsleermethoden, terwijl het een post-RL SFT-strategie voorstelt om deze betrouwbaarheid te herstellen en efficiëntere retrieval-augmented generation (RAG) mogelijk te maken.
Dit artikel introduceert STAR-Set, een structure-bewuste Set Transformer die asynchrone klinische tijdsreeksen effectiever verwerkt door zachte attention-biasen toe te voegen voor tijdslokaliteit en variabele-affiniteit, wat leidt tot superieure prestaties op diverse IC-predictietaken vergeleken met bestaande methoden.
Deze paper introduceert LegoNet, een compressietechniek die blokken van modelgewichten clusteren om het geheugengebruik van neurale netwerken tot wel 128 keer te verminderen zonder hertraining, architectuurwijzigingen of verlies aan nauwkeurigheid.
Deze paper introduceert een gestructureerd benchmarkkader met geïsoleerde interferentiegames en uitgebreide datasets om de specifieke uitdagingen van multi-agent deep reinforcement learning voor C-V2X-resourceallocatie te ontrafelen, waarbij blijkt dat robustheid en generalisatie over diverse voertuigtopologieën de grootste obstakels vormen.
Deze paper introduceert de Two-Bridge Map Suite, een open-source benchmark voor StarCraft II die als tussenliggend niveau fungeert tussen de volledige game en mini-games, waardoor onderzoekers tactische vaardigheden kunnen bestuderen zonder de hoge rekenkosten van de volledige game.
Dit artikel introduceert een praktische methode die de Conditionele Randomisatietest combineert met het tabulaire foundationmodel TabPFN om geldige p-waarden te genereren voor het testen van de relevantie van individuele kenmerken, zelfs in complexe, niet-lineaire en gecorreleerde scenario's zonder dat hertraining of parametrische aannames nodig zijn.
Dit paper introduceert CapTrack, een kadersysteem dat vergeten in LLMs na post-training definieert als systematische gedragsdrift in plaats van alleen feitelijke kennisverlies, en via een grote empirische studie aantoont dat instructie-finetuning de grootste drift veroorzaakt terwijl voorkeursoptimalisatie conservatiever is.