5276 papers
Dit onderzoek toont aan dat kennisdistillatie, hoewel het de output van grotere modellen behoudt, leidt tot significante interne herschikkingen waarbij studentenonderdelen worden gecomprimeerd en herorganiseerd, wat gevolgen heeft voor de robuustheid en generalisatie van deze modellen.
Dit paper introduceert Ready2Unlearn, een proactieve trainingsmethode die machine learning-modellen voorbereidt op toekomstige verwijderingsverzoeken door meta-learning-principes toe te passen, waardoor het unlearning-proces later efficiënter en principieel verloopt.
Dit paper introduceert EgoDex, het grootste en meest diverse dataset tot nu toe van dexterous manipulatie met 829 uur egocentrisch video en gepaarde 3D-handtracking, verzameld met Apple Vision Pro om imitatieleer voor robotica en computerzicht te bevorderen.
FreeKV is een trainingsvrije, co-geoptimaliseerde framework dat de efficiëntie van KV-cache-retrieval voor grote taalmodellen aanzienlijk verbetert door speculatieve retrieval en hybride geheugenlayouts te combineren, waardoor een snelheidswinst tot 13x wordt bereikt met minimale nauwkeurigheidsverlies.
Deze paper introduceert twee nieuwe online algoritmen voor decision-focused learning in dynamische omgevingen, die door middel van regularisatie en perturbatietechnieken de uitdagingen van niet-convexe en niet-differentieerbare doelfuncties overwinnen en voor het eerst wiskundige prestatiegaranties bieden.
Dit paper introduceert Vid2World, een methode die voorgeöefende videodiffusiemodellen omvormt tot interactieve wereldmodellen door causaliteit en causale actiesturing te integreren, waardoor deze modellen schaalbaar en effectief kunnen worden ingezet voor complexe besluitvormingstaken zoals robotbesturing en navigatie.
Het paper introduceert MAS-ZERO, het eerste zelfevoluerende raamwerk voor het ontwerpen van multi-agent systemen zonder toezicht dat tijdens de inferentie dynamisch agentconfiguraties aanpast en verfijnt op basis van meta-feedback, waardoor het aanzienlijk beter presteert dan bestaande handmatige en automatische methoden op diverse complexe taken.
Dit paper introduceert HDLxGraph, een nieuw framework dat Large Language Models koppelt aan HDL-repositories via grafische databases en Abstract Syntax Trees om de beperkingen van traditionele RAG-systemen bij complexe hardware-beschrijvingsopdrachten te overwinnen, ondersteund door een nieuw benchmark-dataset genaamd HDLSearch.
Dit paper introduceert WikiDBGraph, een uitgebreide benchmarksuite gebaseerd op 100.000 real-world databases, om de kloof tussen bestaande methoden voor collaboratief leren en de complexe realiteit van gefragmenteerde en niet-uitgelijnde databasesiloes te dichten.
Deze paper introduceert AgarCL, een nieuw onderzoeksplatform voor continu versterkingsleren gebaseerd op het spel Agar.io, dat complexe, niet-episodische dynamiek biedt en aantoont dat bestaande methoden voor continu leren weinig verbetering bieden ten opzichte van standaard algoritmen.
Dit paper introduceert X-MethaneWet, het eerste cross-schaal wereldwijde benchmarkdataset voor methaanemissies uit wetlands dat fysiek gebaseerde simulaties en waarnemingen combineert om AI-modellen te trainen en transfer learning-technieken te evalueren voor verbeterde klimaatmodellering.
Deze paper introduceert een algemeen theoretisch raamwerk voor optimale controle van waarschijnlijkheidsdichtheden, inclusief een maximumprincipe en de Hamilton-Jacobi-Bellman-vergelijking, en koppelt dit aan een schaalbaar numeriek algoritme op basis van diepe neurale netwerken voor de oplossing van complexe meeragentenproblemen.
Dit paper introduceert VISTA, een trainingsvrij raamwerk dat Vision-Language Models gebruikt om historische aandelenkoersen zowel tekstueel als visueel te analyseren en zo de prestaties van traditionele modellen en tekst-only LLM's aanzienlijk verbetert.
Dit artikel introduceert een nieuwe methode die prompt-injectie-aanvallen op grote taalmodellen effectiever bestrijdt door het bevoorrechte instructieniveau niet alleen aan de invoer, maar ook in de tussenliggende neurale representaties te coderen, wat leidt tot een aanzienlijke vermindering van de aanvalssuccesratio's zonder de nuttigheid van het model te schaden.
Dit artikel introduceert OCN, een nieuwe methode voor linkpredictie die redundantie en over-verzachting in hogere-orde gemeenschappelijke buren aanpakt via orthogonalisatie en normalisatie, waardoor het aanzienlijk beter presteert dan bestaande methoden.
Dit paper introduceert ViTaPEs, een transformer-architectuur die door middel van een innovatieve twee-staps positie-injectie visuele en tactiele data effectief combineert voor taak-agnostische representaties, wat leidt tot state-of-the-art prestaties in herkenning, zero-shot generalisatie en robotische grijpvoorspelling.
Dit paper introduceert LoFT, een nieuwe parameter-efficiënte fine-tuning-methode die de optimizer-dynamiek van volledige fine-tuning nabootst door de momentum- en variantie-momenten van Adam in een laag-rank deelruimte te projecteren, waardoor de prestaties aanzienlijk worden verbeterd zonder extra inferentiekosten.
Dit paper introduceert ProNC, een nieuw continu leerframework dat de beperkingen van een vaste globale ETF overwint door deze progressief uit te breiden met nieuwe klasprototypen, waardoor catastrofale vergetelheid effectief wordt tegengegaan en de prestaties aanzienlijk worden verbeterd.
Dit paper introduceert een nieuwe, plug-and-play adaptieve correctiemethode die de uitkomsten van neurale operatoren garandeert dat ze fundamentele behoudswetten naleven, waardoor zowel de nauwkeurigheid als de stabiliteit van de oplossingen voor partiële differentiaalvergelijkingen aanzienlijk worden verbeterd ten opzichte van bestaande technieken.
Dit paper introduceert ActivePusher, een nieuw raamwerk dat residu-fysica en actieve learning combineert om de data-efficiëntie en het succes van lang-horizon planning voor niet-greep manipulatie in zowel simulatie als de echte wereld te verbeteren.