3900 papers
Het artikel introduceert KVTC, een lichtgewicht coderingstechniek die de Key-Value-cache van grote taalmodellen met tot 20 keer comprimeert door decorrelatie, adaptieve kwantisatie en entropiecodering toe te passen, waardoor het GPU-geheugenverbruik aanzienlijk wordt verlaagd zonder in te leveren op de nauwkeurigheid.
Deze studie evalueert zes LLM-systemen op hun vermogen om als expert te reageren op complexe vragen over hoogtemperatuur-supergeleiding en concludeert dat systemen met retrieval-augmented generation (RAG) op een door experts samengestelde dataset betere prestaties leveren dan gesloten modellen.
In dit artikel wordt DeepEyesV2 geïntroduceerd, een agentic multimodaal model dat door middel van een twee-traps trainingspipeline (koude start gevolgd door versterkingsleren) en een nieuw benchmark RealX-Bench effectief externe hulpmiddelen zoals code-uitvoering en webzoekopdrachten integreert in complexe redeneertaken.
Dit paper introduceert "What We Don't C", een nieuwe methode op basis van latent flow matching die latente subruimten ontrafelt door conditionele informatie expliciet te verwijderen, waardoor residuale representaties ontstaan die factoren van variatie blootleggen die niet in de conditionering waren opgenomen.
Dit paper introduceert D-GAP, een dataset-onafhankelijke en gradiënt-gestuurde augmentatiemethode die de out-of-domain robuustheid van computer-visionmodellen verbetert door gerichte verstoringen toe te passen in zowel de frequentie- als pixelruimte om leerbias te verminderen en details te behouden.
Dit paper introduceert STREAM-VAE, een variational autoencoder met een dual-path architectuur die langzame drifts en snelle pieken in voertuigtelemetrie expliciet scheidt om de robuustheid en betrouwbaarheid van anomaliedetectie te verbeteren.
Dit paper introduceert REMSA, een constraint-aware agent die gebaseerd is op de gestructureerde RSFM-database en natuurlijke taalverwerking gebruikt om de meest geschikte foundation model voor specifieke remote sensing-taken automatisch te selecteren en te verantwoorden.
Deze paper introduceert een hiërarchisch dubbelstrategisch kader voor selectief vergeten in medische grote taalmodellen dat, door het combineren van geometrisch beperkte gradiëntupdates en conceptbewuste tokeninterventies, specifieke privacygevoelige kennis effectief verwijdert terwijl fundamentele medische competenties behouden blijven en slechts 0,1% van de parameters wordt aangepast.
Het paper introduceert CostNav, een nieuw benchmark voor fysieke AI-agenten dat navigatieprestaties evalueert op basis van realistische economische kosten en inkomsten door gebruik te maken van industriestandaarddata, en onthult dat bestaande methoden voor autonome bezorging nog niet economisch levensvatbaar zijn.
Dit paper introduceert IndiMathBench, een door mensen geverifieerd benchmark voor het evalueren van wiskundig redeneren in Lean 4, dat is samengesteld uit 312 problemen van Indiase wiskunde-olympiades via een AI-gestuurde, menselijk ondersteunde pipeline en aantoont dat geautomatiseerde formalisatie ondanks iteratieve verfijning nog steeds aanzienlijke uitdagingen kent.
Deze paper introduceert C3, een methode voor onzekerheidskwantificatie die controllable videomodellen in staat stelt om hun eigen onzekerheid te beoordelen en te visualiseren, waardoor hallucinaties worden verminderd en betrouwbare toepassing in robotica mogelijk wordt gemaakt.
Dit paper introduceert Trio, een innovatief framework dat fragmentgebaseerde taalmodellen, versterkingsleer en Monte Carlo-baanzoek combineert om een gesloten lus voor doelgerichte moleculaire ontdekking te creëren die de binding, geneeskrachtigheid en synthetische haalbaarheid van nieuwe liganden significant verbetert.
Deze paper introduceert en analyseert varianten van random forests die gebaseerd zijn op het principe van maximum risicominimalisatie (MaxRM) om de generalisatie over verschillende omgevingen te verbeteren, waarbij de auteurs efficiënte algoritmen, statistische consistentie en nieuwe out-of-sample garanties bieden.
GTR-Turbo is een efficiëntere methode voor het trainen van multi-modale agenten die de afhankelijkheid van dure leraarmodellen elimineert door gewichten van checkpoints te samenvoegen tot een gratis leraar, wat leidt tot betere prestaties en aanzienlijk lagere kosten.
Dit artikel introduceert de Pretrained Battery Transformer (PBT), het eerste fundamentele model dat door middel van transfer learning en een mengsel van experts gespecialiseerde kennis leert uit heterogene data, waardoor het de nauwkeurigheid van de voorspelling van de levensduur van batterijen aanzienlijk verbetert over diverse chemieën en omstandigheden heen.
Dit onderzoek toont aan dat YOLOv8, gecombineerd met de Finer-CAM-techniek voor explainable AI, een nauwkeurige en interpreteerbare methode biedt voor het classificeren van zeven Europese boomsoorten op basis van TLS-puntwolkprojecties, waarbij de modellen voornamelijk vertrouwen op kroongebieden maar ook stamkenmerken benutten voor specifieke soorten.
Dit paper introduceert 'Bayese windtunnels' om aan te tonen dat transformatoren via een specifiek geometrisch mechanisme in hun residual streams en attention-lagen exacte Bayesiaanse inferentie uitvoeren, terwijl vergelijkbare MLP-architecturen hierin falen.
Dit artikel onthult dat cross-entropy-training in transformers via een gekoppeld dynamisch systeem van 'voordeel-gebaseerd routeren' en 'verantwoordelijkheids-gewogen updates' de interne geometrie vormgeeft, waardoor optimering leidt tot Bayesiaanse manifolds die in-context probabilistisch redeneren mogelijk maken.
De studie toont aan dat moderne taalmodellen een meetkundige ondergrond behouden die Bayesiaanse inferentie mogelijk maakt, waarbij de onzekerheid wordt gecodeerd in een dominante as die correleert met voorspellende entropie, hoewel deze geometrie meer fungeert als een bevoorrechte afleesmechanisme dan als een enkelvoudig computatieknooppunt.
Dit artikel analyseert het fenomeen van 'over-searching' in zoekversterkte grote taalmodellen, introduceert de metriek Tokens Per Correctness (TPC) om de kosten-batenverhouding te kwantificeren, en biedt mitigatiestrategieën om de efficiëntie te verbeteren en hallucinaties te verminderen.