10008 papers
Dit paper introduceert R2M, een nieuw lichtgewicht RLHF-framework dat reward-overoptimalisatie aanpakt door real-time gebruik te maken van de evoluerende verborgen toestanden van het beleidsmodel in plaats van uitsluitend te vertrouwen op oppervlakkige semantische informatie.
Dit paper presenteert een nieuwe Bitcoin-prijsvoorspellingsmethode die Combinatorial Fusion Analysis (CFA) toepast om diverse machine learning-modellen te combineren, wat resulteert in een aanzienlijk betere prestatie met een MAPE van 0,19% vergeleken met individuele modellen en andere bestaande voorspellingsmethoden.
Deze studie toont aan dat het gebruik van LLM-gebaseerde nieuwsgevoelensanalyse, met name met het DeBERTa-model of een ensemble van drie modellen, de nauwkeurigheid van de voorspelling van aandelenkoersbewegingen significant kan verbeteren.
Deze paper introduceert Adam-Aware In-Run Data Shapley, een nieuwe methode die de beperkingen van bestaande SGD-gebaseerde attributietechnieken voorbijgaat door een gesloten-vorm benadering en een Lineaire Ghost-benadering te gebruiken, waardoor nauwkeurige data-attributie mogelijk wordt tijdens het trainen met de Adam-optimizer zonder de doorvoersnelheid significant te verlagen.
Deze studie concludeert dat de Schwartz-hoogwaardige waardenstructuur bij het detecteren van menselijke waarden op zinneniveau vooral nuttig is als inductieve bias en dat de grootste prestatiewinsten worden behaald via kalibratie en ensemble-methoden, terwijl harde hiërarchische poortmodellen en compacte LLM's als standalone-systemen minder effectief blijken.
Dit paper introduceert T2T, een dynamisch beloningssysteem voor Large Language Models dat, geïnspireerd op menselijk leren, de zoekruimte uitbreidt bij fouten en de redenering efficiënter maakt na succes, wat leidt tot aanzienlijk betere prestaties op wiskundige benchmarks.
Deze studie introduceert FSTab, een methode voor het voorspellen van herhalende kwetsbaarheden in door LLM's gegenereerde software op basis van zichtbare functies, en toont aan dat deze aanval ook succesvol is over verschillende domeinen heen, zelfs zonder toegang tot de broncode.
De auteurs introduceren een schaalbaar semantisch zoeksysteem voor wiskundige stellingen dat op een corpus van 9,2 miljoen stellingen is getraind en door middel van geoptimaliseerde representaties en zoekstrategieën een aanzienlijke verbetering biedt ten opzichte van bestaande methoden voor het vinden van specifieke wiskundige resultaten.
Het artikel introduceert LMMRec, een model-onafhankelijk raamwerk dat grote taalmodellen en chain-of-thought prompting gebruikt om gedetailleerde motivaties uit tekst te halen en deze te aligneren met interactiegegevens via contrastief leren, wat leidt tot significante verbeteringen in multimodale aanbevelingssystemen.
Deze paper introduceert een principieel raamwerk voor conditionele diffusiemodellen onder harde constraints, gebaseerd op Doob's h-transformatie en martingaaltheorie, dat twee nieuwe off-policy leeralgoritmes biedt om de driftcorrectie te schatten zonder het vooraf getrainde score-netwerk aan te passen, terwijl niet-asymptotische garanties worden geleverd voor de kwaliteit van de gegenereerde steekproeven.
Het paper introduceert NAAMSE, een evolutionair framework dat de beveiligingsevaluatie van AI-agenten automatiseert door feedback-gedreven promptmutatie en hiërarchische verkenning te combineren om adaptieve bedreigingen effectiever te identificeren dan traditionele statische methoden.
Dit artikel introduceert een unificerend pretrainingsframework op basis van diffusie voor hersengrafen, dat semantisch betekenisvolle connectiviteitspatronen behoudt en globale structurele informatie vastlegt om robuustere representaties te leren dan bestaande methoden.
Dit paper introduceert CoCoA, een trainingsvrije decoderingsalgoritme dat hallucinaties in grote taalmodellen vermindert door de inconsistentie van representaties tussen de interne lagen te detecteren en te straffen, waardoor de feitelijke juistheid van de output zonder hertraining wordt verbeterd.
Dit paper introduceert SToRM, een supervisie-gedreven raamwerk voor tokenreductie in multimodale LLM's dat de rekenefficiëntie van end-to-end autonoom rijden met tot 30x verbetert terwijl de prestaties van het gebruik van alle tokens behouden blijven.
Dit paper introduceert AGPS, een framework dat de sample-efficiëntie van robotreinforcement learning verbetert door menselijke supervisie te vervangen door een multimodaal agent die als semantisch wereldmodel fungeert voor schaalbare, arbeidsvrije training.
Dit paper introduceert M2RL, een studie die vergelijkt of het mengen van multi-domein Reinforcement Learning met Verifieerbare Beloningen (RLVR) of het apart trainen en vervolgens samenvoegen van modellen de beste aanpak is voor het ontwikkelen van krachtige, algemene Large Language Models, waarbij wordt geconcludeerd dat domeinen vaak synergetisch werken en weinig interferentie vertonen.
Het paper introduceert SkillsBench, een benchmark die aantoont dat hoewel zorgvuldig samengestelde vaardigheden de prestaties van LLM-agenten aanzienlijk kunnen verbeteren, zelf gegenereerde vaardigheden doorgaans geen meerwaarde bieden en de effectiviteit sterk varieert per domein.
Dit artikel presenteert een geometrische taxonomie van hallucinaties in grote taalmodellen die drie fouttypen onderscheidt en twee detectiemethoden introduceert, waarbij wordt aangetoond dat bestaande benchmarks voor feitelijke fouten vaak worden beïnvloed door stijlconfounds in plaats van echte semantische afwijkingen.
TrasMuon verbetert Muon-gebaseerde optimalisatoren door de orthogonalisatie te behouden en tegelijkertijd de stabiliteit te waarborgen via globale RMS-calibratie en energiegebaseerde trust-region-clipping, wat resulteert in snellere convergentie en robuustheid zonder warmup-fasen.
Dit artikel toont aan dat een lichtgewicht, geautomatiseerde AI-pipeline, aangedreven door geavanceerde taalmodellen en geoptimaliseerd voor citatieverificatie, geslaagde oplossingen kan genereren voor complexe wiskundeproblemen op onderzoeksniveau, waaronder ongepubliceerde vragen en problemen uit de ICCM-competitie.