4123 papers
Dit onderzoek introduceert een zoekprocedure om bijna-optimale leerplansvormen te vinden en toont aan dat hoewel warmup en decay robuuste kenmerken zijn, veelgebruikte schema's niet optimaal zijn en dat gewichtsdecay een sterke invloed heeft op de ideale vorm.
Deze paper introduceert een flexibele steekproefmethode met stochastische beam search voor gemaskeerde taalkundige modellen die, zoals blijkt uit uitgebreide in silico en in vitro tests op antilichamen, minstens zo belangrijk is voor het optimaliseren van biologische eigenschappen als de keuze van het model zelf.
Dit paper introduceert data-gedreven integratiekernels als een interpreteerbaar raamwerk dat niet-lokale operatorlearning voor klimaatprocessen structureert door niet-lineaire interacties te beperken tot geïntegreerde kenmerken, wat leidt tot modellen met minder parameters en betere interpretatie zonder in te leveren op voorspellingskwaliteit.
NasoVoce is een neusgemonteerd interface dat door het fusioneren van akoestische en trillingssignalen een robuuste, onopvallende en altijd beschikbare spraakinteractie met AI mogelijk maakt, zelfs bij fluisterende spraak in lawaaierige omgevingen.
Deze paper introduceert FairFAL, een adaptief framework voor federatief actief leren dat de prestaties verbetert onder extreme non-IID-omstandigheden en globale klasse-ongelijkheid door een slimme selectie tussen lokale en globale query-modellen, prototypegestuurde pseudo-labeling en een gebalanceerde bemonsteringsstrategie.
Deze paper introduceert een nieuwe ondergrens en het -algoritme voor het identificeren van de beste arm in niet-stationaire lineaire bandieten, waarmee de complexiteit voor willekeurige armsets wordt vastgesteld en de eerder te pessimistische, dimensie-afhankelijke ondergrens wordt overtroffen.
Dit paper introduceert HEAL, een RL-vrij raamwerk dat het 'lerend vermogen' van kleinere modellen verbetert door middel van een curriculum dat gebaseerd is op de Zone van de Naaste Ontwikkeling en gebruikmaakt van entropy-gestuurde herstelmechanismen om de beperkingen van traditionele distillatie te overwinnen.
Dit artikel introduceert Causal Concept Graphs, een methode die sparse autoencoders en differentieerbare structuurlerning combineert om causale relaties tussen concepten in de latent ruimte van taalmodellen te visualiseren en te manipuleren voor verbeterde stapsgewijze redenering, wat resulteert in een significant hogere Causal Fidelity Score dan bestaande technieken.
Dit paper introduceert een nieuwe schaalwet voor Mixture-of-Experts-modellen die een optimale machtsverhouding tussen expert- en attentie-berekeningen definieert, waardoor efficiëntere modelontwerpen mogelijk zijn binnen vaste rekenbudgetten.
Dit paper introduceert een variantiebewuste adaptieve wegingsstrategie die de onbalans in de trainingsdynamiek van diffusiemodellen over verschillende ruisniveaus oplost, wat resulteert in stabielere optimalisatie en verbeterde generatieve prestaties op CIFAR-10 en CIFAR-100.
Dit paper introduceert Graph-GRPO, een online reinforcement learning-framework dat grafstroommodellen effectief traint door een analytische uitdrukking voor transitiekansen te gebruiken en een verfijningstrategie voor lokale exploratie, wat leidt tot state-of-the-art prestaties in grafgeneratie en moleculaire optimalisatie.
Dit paper analyseert de leer-dynamiek van twee-laags lineaire netwerken getraind met labelruis-SGD en onthult een tweefasig proces waarbij de ruis de overgang van het 'lazy' naar het 'rich' regime drijft, wat de verbeterde generalisatie empirisch verklaart.
Deze paper introduceert PP-LUCB, een efficiënt algoritme dat de beste serviceconfiguratie identificeert door goedkope, maar bevooroordeelde LLM-gebaseerde scores te combineren met strategisch ingekochte dure menselijke audits, waardoor de auditkosten met 90% worden verlaagd terwijl de nauwkeurigheid behouden blijft.
Deze paper introduceert STemDist, de eerste dataset-distillatiemethode die specifiek is ontworpen voor spatio-temporale voorspelling door zowel de ruimtelijke als temporale dimensies te comprimeren, wat resulteert in aanzienlijk snellere training, lager geheugengebruik en hogere voorspellingsnauwkeurigheid.
Dit artikel introduceert een domeinadaptief raamwerk met gedegradeerde-stadia gesynchroniseerde bemonstering en een kruis-domein gealigneerde grote autoencoder om de prestaties van gezondheidsindicatoren voor prognostiek en gezondheidsbeheer aanzienlijk te verbeteren door distributiemismatches en beperkingen in het vastleggen van lange-termijn tijdsafhankelijkheden aan te pakken.
Dit paper introduceert WiGS, een adaptieve actieve leermethode voor regressie die op basis van versterkingslearning een dynamisch, additief criterium toepast om de labelkosten te verlagen en de nauwkeurigheid te verbeteren, vooral in domeinen met onregelmatige datadichtheid waar bestaande methoden tekortschieten.
Dit paper introduceert Generalized Gaussian Mixture Processes (GGMPs), een schaalbaar en tractabel raamwerk op basis van Gaussische processen dat multimodale en heteroscedastische conditionele dichtheidsramingen mogelijk maakt door lokale mengsels te combineren met componentuitlijning en per-component training, waardoor de beperkingen van standaard unimodale Gaussische processen worden overwonnen.
Dit paper toont aan dat het verwijderen van een coherent gemiddelde bias in FP4-gequantiseerde LLM-training de numerieke stabiliteit aanzienlijk verbetert en de prestaties herstelt door de dynamische bereikinflatie veroorzaakt door anisotropie te elimineren.
Dit paper introduceert een effectieve, prompt-vrije methode voor het selectief "vergeten" van specifieke, niet-tekstueel te specificeren outputs (zoals individuele gezichten) in diffusiemodellen door gebruik te maken van een surrogaatbenadering met afbeeldingsbewerking, timestepspecifieke weging en gradiëntchirurgie, terwijl de integriteit van de resterende generaties behouden blijft.
Dit paper introduceert Brenier-isotone regressie, een methode die isotone regressie uitbreidt naar meervoudige uitvoer door de regressiefunctie te modelleren als een cyclisch monotoon veld via optimal transport, wat leidt tot superieure prestaties in waarschijnlijkheidskalibratie en veralgemeende lineaire modellen.