11269 papers
Dit paper introduceert Parallel Token Prediction (PTP), een raamwerk dat de snelheid van autoregressieve taalmodellen aanzienlijk verhoogt door meerdere tokens in één doorloop te voorspellen via het verschuiven van de bron van willekeur naar invoervariabelen, wat resulteert in een 2,4-voudige versnelling.
Dit artikel introduceert een robuust machine learning-kader op basis van SVGP-Kolmogorov-Arnold-netwerken dat niet alleen tijdsopgeloste stromingsvelden reconstrueert uit schaarse metingen met vergelijkbare nauwkeurigheid als gevestigde methoden, maar ook geprikkeld epistemische onzekerheid biedt voor betere experimentontwerp en voorspellingstrouw.
Deze studie toont aan dat het combineren van bio-elektrische eigenschappen van cellen met het Random Forest-machinelearning-algoritme een nauwkeurigheid van ongeveer 90% bereikt bij het voorspellen van kwaadaardigheid, wat de potentieel van deze aanpak voor diagnostische toepassingen onderstreept.
Deze paper introduceert de Spectral Sphere Optimizer (SSO), een efficiënte parallelle optimalisatiealgoritme dat strikte spectrale beperkingen oplegt aan gewichten en updates om volledige stabiliteit en snellere convergentie te garanderen bij het trainen van grote taalmodellen, waardoor het de bestaande methoden zoals AdamW en Muon overtreft.
Dit paper introduceert het Behavioral Profiling Ensemble (BPE)-kader, een modelcentrische aanpak die dynamische aggregatiegewichten baseert op de afwijking van een model's respons ten opzichte van zijn intrinsieke gedragsprofiel, wat leidt tot superieure voorspellingsprestaties en een lagere rekenlast in vergelijking met bestaande dynamische ensembleselectiemethoden.
Het paper introduceert EmboTeam, een raamwerk dat de redeneercapaciteiten van grote taalmodellen combineert met formele planning en gedragsbomen om heterogene robotteams in staat te stellen complexe langdurige taken in huishoudelijke omgevingen succesvol en reactief uit te voeren.
ButterflyMoE is een methode die de geheugenschaalbaarheid van MoE-modellen op randapparaten doorbreekt door experts te modelleren als geometrische rotaties van een gedeelde ternaire basis, waardoor het geheugengebruik sublineair wordt zonder nauwkeurigheidsverlies.
Dit paper introduceert Yuan3.0 Ultra, een open-source Mixture-of-Experts taalmodel met 1010 miljard totale parameters dat door middel van het nieuwe Layer-Adaptive Expert Pruning-algoritme tijdens het pre-trainingstadium 33,3% minder parameters en 49% meer trainingsefficiëntie bereikt, terwijl het uitstekende prestaties behoudt op zowel algemene taken als specifieke zakelijke benchmarks.
Dit paper introduceert EGAgent, een agentisch raamwerk dat entiteitsscène-graafgebruikt om zeer lange, continue egocentrische video's te analyseren en zo state-of-the-art prestaties te leveren op complexe longitudinale begrijpingsopdrachten.
Dit paper introduceert On-Policy Self-Distillation (OPSD), een raamwerk waarbij één enkel groot taalmodel fungeert als zowel leraar als leerling door te conditioneren op respectievelijk geprivilegieerde redeneersporen en alleen de vraag, wat leidt tot superieure prestaties en een 8-12 keer hogere token-efficiëntie op wiskundige redeneerbenchmarks vergeleken met bestaande methoden.
Deze paper introduceert een schaalbare methode voor het voorspellen van teken van koppelingen in een getekend graf door de CopulaGNN te verbeteren via een Gramiaanse representatie van de correlatiematrix en een hervormde conditionele waarschijnlijkheidsverdeling, wat leidt tot lineaire convergentie en snellere training zonder in te leveren op de voorspellingsprestaties.
In dit werk worden de convergentiegaranties voor de Muon-optimizer voor niet-convexe optimalisatie verscherpt door een directe en vereenvoudigde analyse die snellere convergentiepercentages oplevert en een bredere reeks probleemsettings bestrijkt dan eerdere studies.
Dit artikel introduceert Latent-IMH, een efficiënte Bayesiaanse inferentiemethode voor inverse problemen met dure operatoren die, door het gebruik van een goedkope benadering voor het genereren van latente variabelen en een exacte verfijning, aanzienlijk sneller is dan bestaande methoden zoals NUTS.
Deze paper introduceert ME-POIs, een raamwerk dat taalmodellen aanvult met menselijke mobiliteitsdata om representaties van punten van interesse te leren die niet alleen de identiteit, maar ook de functionele gebruiksdoelen van locaties vastleggen, wat leidt tot superieure prestaties op diverse kaartverrijkingstaken.
Deze paper introduceert YuriiFormer, een suite van Nesterov-versnelde transformers die transformerlagen interpreteren als optimalisatiestappen en hiermee een architectuur voorstellen die de prestaties van nanoGPT op TinyStories en OpenWebText verbetert.
Dit artikel introduceert MiTA Attention, een efficiënt mechanisme dat de schaalbaarheid van Transformer-attention voor lange sequenties verbetert door een compressie-en-routing-strategie te gebruiken die een breed snel-gewicht MLP reduceert tot smaller deskundigen via een mengsel van top-k geactiveerde sleutel-waardeparen.
Deze paper introduceert VIP, een strategie die een Gaussisch proces gebruikt om de roll-out-begroting in online versterkingsleer dynamisch toe te wijzen aan de meest informatieve prompts, waardoor de sampling-efficiëntie en prestaties aanzienlijk worden verbeterd ten opzichte van uniforme methoden.
Dit paper pleit voor een verschuiving van traditionele, modelgerichte tijdreeksvoorspelling naar 'agente voorspelling' (ATSF), waarbij forecasting wordt herdefinieerd als een adaptief proces met perceptie, planning, actie, reflectie en geheugen dat beter geschikt is voor dynamische en iteratieve scenario's.
Dit paper toont aan dat stuurvectoren in grote taalmodellen fundamenteel niet-identificeerbaar zijn, aangezien orthogonale verstoringen vergelijkbare effecten hebben, wat de interpretatie van interne representaties beperkt en de noodzaak van structurele constraints benadrukt.
LatentChem introduceert een latent denkinterface die chemische redenering overbrengt van expliciete tekstuele chain-of-thought naar continue latente ruimtes, wat leidt tot een aanzienlijke snelheidswinst en betere prestaties doordat modellen hun redenering automatisch internaliseren in plaats van in woorden te verwoorden.