11364 papers
Dit paper bewijst dat gradienten op basis van RLHF alignment inherent oppervlakkig zijn omdat ze verdwijnen zodra de schadelijkheid van een output is vastgesteld, en stelt een nieuw doel voor dat herstelstraffen gebruikt om een gradientensignaal over de volledige sequentie te behouden.
Dit paper introduceert de 'Osmosis Distillation'-aanval, een nieuwe methode voor modelkaping die het risico blootlegt dat een aanvaller met slechts enkele vergiftigde synthetische datasets een model kan manipuleren om een verborgen taak uit te voeren terwijl de oorspronkelijke functionaliteit behouden blijft.
Het paper introduceert ReCouPLe, een lichtgewicht framework dat natuurlijke taalredeneringen gebruikt als causale signalen om voorkeursgebaseerde beloningsmodellen robuuster te maken tegen causale verwarring en beter te laten generaliseren naar nieuwe taken zonder extra data.
Deze studie presenteert een interpreteerbaar model dat 80,4% nauwkeurigheid bereikt bij het voorspellen van acht verschillende worptypes in honkbal op basis van monokulaire 3D-lichaamshouding, waarbij bovenlichaamsmechaniek en polspositie als belangrijkste voorspellers worden geïdentificeerd en een empirisch plafond wordt vastgesteld voor worpen die uitsluitend op grip verschillen.
Deze paper introduceert een unificerend kader dat aantoont dat de ruis in differentieel privé SGD in twee-laags netwerken de feature-learning dynamiek verstoort, wat leidt tot een verslechtering van eerlijkheid, robuustheid en prestaties, vooral bij onbalans en lange staartverdelingen.
FedAFD is een geïntegreerd framework voor multimodaal federatief leren dat via een tweeledige adversariale uitlijning, granulariteitsbewuste fusie en een op gelijkenis gebaseerde ensemble-distillatie de uitdagingen van heterogene data en modellen oplost om zowel client- als serverprestaties te verbeteren.
Deze studie toont aan dat bij hoogdimensionale willekeurige data de impliciete bias van gradient descent voor een ondiep ReLU-model met hoge waarschijnlijkheid de minimum-l2-norm oplossing benadert met een foutmarge van de orde , dankzij een nieuwe primal-dual analyse die aantoont dat het ReLU-activatiepatroon snel stabiliseert.
Deze paper presenteert U-Parking, een gedistribueerd autonoom parkeersysteem dat gebruikmaakt van UWB-technologie, robuuste lokalisatie en LLM-ondersteunde planning om betrouwbare parkeerbewegingen in uitdagende binnenruimtes mogelijk te maken.
In dit artikel wordt VPWEM voorgesteld, een niet-Markoviaanse visuele beleidsmethode die werkgeheugen en een Transformer-gebaseerd episodisch geheugen combineert om robotmanipulatie taken met lange termijn geheugenvereisten efficiënter op te lossen dan bestaande methoden.
Dit paper introduceert EVMbench, een evaluatieframework dat de capaciteit van AI-agenten meet om kwetsbaarheden in slimme contracten te detecteren, te patchen en te exploiteren, en laat zien dat geavanceerde modellen in staat zijn om deze kwetsbaarheden end-to-end te vinden en uit te buiten.
Dit artikel introduceert BandPO, een nieuwe methode voor het versterken van grote taalmodellen die de beperkingen van vaste PPO-bounds oplost door dynamische, waarschijnlijkheidsbewuste intervallen te gebruiken, waardoor de stabiliteit wordt verbeterd en het vroege verlies aan exploratie wordt tegengegaan.
Dit artikel introduceert het SC-USFL-framework, dat semantische communicatie combineert met split federated learning om de communicatie-overhead te verminderen, de privacy te waarborgen en de leerprestaties te optimaliseren in dynamische voertuignetwerken.
Dit artikel presenteert een aangepast dataset en een evaluatie van 3D-detectie- en trackingmethodes voor het lokaliseren van personen vanuit een LiDAR-sensor op een kraan in een industriële omgeving, waarbij VoxelNeXt en SECOND de beste prestaties leveren binnen een straal van 5 meter.
Dit paper introduceert -Reasoner, een innovatief framework dat differentieerbare optimalisatie van token-logits in de latent space toepast tijdens de inferentie om de redeneercapaciteiten van grote taalmodellen aanzienlijk te verbeteren met minder modeloproepen dan bestaande methoden.
Dit paper introduceert TimeWarp, een benchmark die de kwetsbaarheid van webagenten voor veranderingen in webontwerp blootlegt, en presenteert TimeTraj, een algoritme dat via plan-distillatie over meerdere UI-versies de prestaties en robuustheid van deze agenten aanzienlijk verbetert.
Dit onderzoek toont aan dat Transformer-modellen met evidentiële outputlagen, getest op het HUPA-UCM-dataset, de meest effectieve en goed gekalibreerde onzekerheidsschattingen bieden voor de voorspelling van bloedglucose en het identificeren van glycemische risico's bij type 1-diabetes.
Dit paper introduceert WaterSIC, een nieuw algoritme dat door het toewijzen van verschillende quantisatiesnelheden aan kolommen van de gewichtsmatrix (geïnspireerd door waterfilling) een bijna optimale informatie-theoretische prestatie bereikt en daarmee nieuwe state-of-the-art resultaten oplevert voor de kwantisatie van LLM's zoals Llama en Qwen.
Het herhalen van vooraf getrainde generieke data tijdens het fijnafstemmen verbetert verrassend genoeg de prestaties op specifieke doeltaakken, zelfs bij minder gerelateerde domeinen, door de datadoeltreffendheid te verhogen en de algemene vaardigheden van het model te behouden.
Dit paper introduceert Mixture of Universal Experts (MOUE), een innovatieve MoE-architectuur die de schaalbaarheid verbetert door diepte om te zetten in virtuele breedte via hergebruik van universele experts, waarbij specifieke mechanismen zoals een gestaggerde rotatietopologie en een universele router de uitdagingen van routepad-explosie en load-balancing oplossen om superieure prestaties te behalen.
Deze paper introduceert een functioneel georiënteerde methode voor het samenvoegen van meerdere LLM's op de Fisher-Rao-maand, die de beperkingen van traditionele Euclidische benaderingen overwint door een stabiel Karcher-gemiddelde te berekenen dat representatie-inzinking voorkomt en de prestaties verbetert bij het samenvoegen van heterogene modellen.