7103 papers
Dit paper introduceert SCORE, een methode die subruimte-conflicten tussen modellen op verschillende domeinen oplost door een gedeelde orthogonale basis te vinden en diagonale componenten te verwijderen, waardoor de domein-generalisatie aanzienlijk wordt verbeterd ten opzichte van bestaande modelmerging-technieken.
Deze paper introduceert het Disentangled Safety Hypothesis (DSH), dat aantoont dat veiligheidsmechanismen in grote taalmodellen bestaan uit gescheiden 'herkennings-' en 'uitvoeringsassen', en gebruikt deze inzichten om een nieuwe aanvalsmethode te ontwikkelen die weigeringen effectief kan uitschakelen zonder de kennis van het model te beïnvloeden.
Dit paper introduceert een nieuwe eerste-orde Softmax-gewichtsschakelgradientmethode voor gedistribueerde stochastische minimax-optimalisatie met stochastische beperkingen, die een stabiele single-loop oplossing biedt voor federated learning met bewezen convergentie en verbeterde prestaties op taken zoals Neyman-Pearson-classificatie.
Deze paper introduceert nieuwe, tijdsgevoelige alternatiemetrics om de beperkingen van traditionele, tijdsblinde maatstaven aan te tonen bij het evalueren van multi-agent coördinatie, waarbij blijkt dat agenten met hoge traditionele scores in feite slechter presteren dan willekeurige baselines in termen van daadwerkelijke coördinatiekwaliteit.
Dit artikel vergelijkt de interne representaties van Mixture-of-Experts (MoE) en dichte modellen met behulp van crosscoders en toont aan dat MoE's minder unieke, maar meer gespecialiseerde en actieve features ontwikkelen, terwijl dichte modellen informatie verspreiden over bredere, algemene features.
Dit paper analyseert het specialisatiegedrag van Mixture of Experts-modellen en toont aan dat een klein aantal experts de meeste taken uitvoert, wat aanzienlijke kansen biedt voor inferentie-optimalisatie via gerichte expert-pruning zonder prestatieverlies.
Dit paper introduceert MaCS, een eenvoudige en architectuuronafhankelijke regularisatiemethode die de kalibratie en robuustheid van diepe visiemodellen verbetert door logit-marges te vergroten en voorspellingconsistentie onder lichte verstoringen te handhaven, zonder extra data of architecturale wijzigingen.
Dit paper introduceert SEA-PEFT, een methode voor zelfauditerende, parameter-efficiënte fine-tuning die adapterconfiguratie automatiseert via een zoek-keuze-toewijzingscyclus om de prestaties van 3D-medische beeldsegmentatie in few-shot scenario's aanzienlijk te verbeteren zonder de noodzaak van handmatige aanpassingen.
Dit artikel onderzoekt de effectiviteit, beperkingen en valkuilen van testtijd-adaptatie via veel-shot prompting bij grote taalmodellen, en concludeert dat deze methode vooral nuttig is voor gestructureerde taken maar gevoelig is voor de selectiestrategie en vaak beperkt baat biedt bij open-ended generatie.
ReflexiCoder is een nieuw reinforcement learning-framework dat grote taalmodellen leert om code autonoom te genereren, te reflecteren op fouten en zichzelf te corrigeren zonder externe hulp, wat leidt tot state-of-the-art prestaties en een aanzienlijke vermindering van de inferentie-overhead.
Deze paper introduceert STEP, een raamwerk dat temporele linkpredictie hervormt als een sequentiële voorspellingsopdracht in continue tijd door gebeurtenisdynamiek te modelleren via Poisson-processen over temporele motieven, wat leidt tot aanzienlijk betere prestaties en lagere rekentijd dan bestaande methoden.
Dit paper introduceert ROSE, een geoptimaliseerde versie van SparseGPT die door middel van een twee-niveau herschikking van de pruning-sequentie gebaseerd op geschatte verlieswaarden, de prestaties van één-slag (one-shot) pruning van grote taalmodellen aanzienlijk verbetert.
PixARMesh is een autoregressieve methode die vanuit één RGB-afbeelding complete, artistiek bruikbare 3D-interieurscènes reconstrueert door objectindeling en geometrie direct in een unifyd model te voorspellen, zonder afhankelijkheid van impliciete afstandsvelden of latere optimalisatie.
Dit paper introduceert drie technieken om bias in Concept Bottleneck Models te verminderen, waardoor deze modellen zowel eerlijker als interpreteerbaarder worden voor beeldclassificatie.
Dit paper introduceert Reference-guided Policy Optimization (RePO), een nieuwe methode die de zwaktes van bestaande technieken oplost door het combineren van verifieerbare beloningen voor exploratie en referentiesturing voor exploitatie, waardoor Large Language Models effectiever kunnen worden getraind voor moleculaire optimalisatie zonder stap-voor-stap trainingsdata.
Dit artikel introduceert een geïntegreerd kader dat een node-transformerarchitectuur combineert met BERT-gebaseerde sentimentanalyse om de aandelenmarkt als een graaf te modelleren, wat resulteert in een significante verbetering van de voorspellingsnauwkeurigheid en richtingsefficiëntie voor S&P 500-aandelen ten opzichte van traditionele methoden.
Deze paper introduceert 'Artificial Replay', een nieuw experimenteel ontwerp dat de kosten van het vergelijken van multi-armed bandit-algoritmen halveert door bestaande trajecten opnieuw te gebruiken, terwijl het tegelijkertijd een onbevooroordeelde schatter biedt met een sublineaire variantie.
Dit paper introduceert Weak-SIGReg, een efficiëntere variant van SIGReg die de covariance-matrix regulariseert via random sketching om het instabiele trainen van diepe netwerken, zoals Vision Transformers zonder architecturale hacks, te stabiliseren en representatie-ineenstorting te voorkomen.
Dit onderzoek toont aan dat het modelleren van de auteurscontext, een oplossing voor de ecologische valkuil, de prestaties van een groter 8B Llama-model significant verbetert, zowel tijdens het fine-tunen met QLoRA als bij voortgezette pre-training via de HuLM-opdracht.
Deze paper presenteert een FPGA-versneller die de geheugengebonden bottleneck van de Gated DeltaNet-decode oplost door de recurrente toestand persistent in on-chip BRAM te houden, waardoor een 4,5x hogere snelheid en tot 60x betere energie-efficiëntie wordt bereikt vergeleken met een NVIDIA H100 GPU.