1716 papers
Deze paper introduceert EDINET-Bench, een open-source benchmark voor Japanse financiële rapporten die aantoont dat zelfs geavanceerde grote taalmodellen moeite hebben met complexe financiële taken zoals fraudeopsporing en dat er behoefte is aan realistischere evaluatiekaders met gespecialiseerde ondersteuning.
Deze studie toont aan dat Reinforcement Fine-Tuning (RFT) multimodale taalmodellen beter in staat stelt om voorkennis te behouden dan Supervised Fine-Tuning (SFT), omdat RFT voornamelijk correcte steekproeven versterkt die beter aansluiten bij het bestaande waarschijnlijkheidslandschap, waardoor de negatieve impact van trainingsdata op eerder geleerde kennis wordt geminimaliseerd.
Dit paper introduceert La Leaderboard, het eerste open-source platform dat generatieve grote taalmodellen evalueert op basis van de linguïstische en culturele diversiteit van het Spaans, inclusief variëteiten uit Spanje en Latijns-Amerika en talen zoals Baskisch, Catalaans en Galicisch.
MuRating is een schaalbaar raamwerk dat hoogwaardige kwaliteitsindicatoren uit het Engels overbrengt naar een enkel beoordelingsmodel voor 17 talen, waardoor de prestaties van meertalige grote taalmodellen aanzienlijk verbeteren, vooral bij kennisintensieve taken.
Deze paper introduceert EKA-EVAL, een open-source, modulair evaluatiekader dat een zero-code webinterface en CLI combineert om meer dan 55 meertalige benchmarks voor laag-resource talen in één platform te ondersteunen, met als resultaat aanzienlijk betere bruikbaarheid en reproduceerbaarheid dan bestaande baselines.
Dit paper introduceert TreeBench, een diagnostische benchmark voor traceerbaar visueel redeneren, en TreeVGR, een trainingsparadigma dat via versterkingsleer gelokaliseerde bewijsvoering en redenering combineert om de prestaties van multimodale modellen aanzienlijk te verbeteren.
Dit artikel introduceert Vevo2, een unificerend en controleerbaar framework dat twee geavanceerde audio-tokenizers en een hybride modelleringstijl combineert om zowel spraak als zang te genereren, waarbij de schaarste aan gelabelde zangdata wordt overwonnen en een sterke generalisatievermogen voor diverse synthesetaken wordt bereikt.
Deze studie toont aan dat kwantisatie van grote taalmodellen de toxiciteit kan verminderen maar tegelijkertijd stereotypen en onrechtvaardigheid in generatieve taken licht verhoogt, wat de noodzaak benadrukt om efficiëntie en ethische overwegingen zorgvuldig in evenwicht te brengen.
Deze paper introduceert een nieuw inzicht dat alignatie als detectieprobleem bekijkt en een onbalans-gebaseerd optimal transport-model voorstelt om de overdracht van taalkennis in spraakherkenning te verbeteren door structurele asymmetrieën en ruis effectief te hanteren.
Deze paper introduceert TSPC, een tweestapsarchitectuur die op fonemen is gebaseerd en een uitgebreide Vietnamese fonemenset als tussenrepresentatie gebruikt om de woordfoutenratio voor code-switching tussen het Vietnamees en Engels aanzienlijk te verlagen.
Dit onderzoek toont aan dat socialemediataal longitudinale veranderingen in bipolaire stoornis kan vastleggen, waarbij de diagnose gepaard gaat met brede linguïstische verschuivingen en de daaropvolgende jaren een seizoensgebonden cyclus van 12 maanden vertonen die overeenkomt met stemmingsvariaties.
Dit paper introduceert Llama-Mimi, een model dat multi-level RVQ-tokens van de Mimi-codec platlegt tot één sequentie voor autoregressieve modellering met een Transformer-decoder, wat leidt tot superieure prestaties op de meeste taken en de beste akoestische consistentie in vergelijking met hiërarchische modellen.
Deze studie toont aan dat LLM-backbones in spraakmodellen vaak faalden in structurele robuustheid vertonen bij conversaties met disfluënties, waarbij redeneringsmodellen systematisch vloeiende inhoud verwijderen ten gunste van semantische abstractie.
Het paper introduceert BeyondBench, een evaluatieframework dat wiskundig onderbouwde, dynamisch gegenereerde algoritmische problemen gebruikt om taalmodellen op een verontreinigingsvrije manier te testen op hun redeneervermogen, waarbij de resultaten aantonen dat prestaties sterk afnemen naarmate de complexiteit toeneemt.
Dit paper introduceert een stabiele NVFP4-pretraining-methode voor grote taalmodellen die, na het trainen van een 12 miljard parameter tellend model op 10 biljoen tokens, prestaties bereikt die vergelijkbaar zijn met een FP8-basislijn.
Dit paper introduceert PrefDisco, een evaluatiemethode en benchmark die statische taken omzet in interactieve scenario's om proactief gepersonaliseerd redeneren te testen, waarbij wordt aangetoond dat grote taalmodellen hierin nog niet vanzelfsprekend slagen en gerichte ontwikkeling vereisen om effectief te kunnen inspelen op individuele gebruikersvoorkeuren.
Dit paper introduceert Graph2Eval, een door kennisgrafieken aangedreven framework dat automatisch schaalbare en semantisch consistente multimodale taken genereert voor agenten, wat resulteert in een betrouwbaarder evaluatiebenchmark die hallucinaties en oplosbaarheidsproblemen van eerdere methoden oplost.
Dit artikel introduceert Graph-as-Memory Tuning (GMT), een nieuwe aanpak die lokale kennisgrafiekstructuren comprimeert tot expliciete geheugentokens en deze via diepe cross-attention in LLM's integreert om de prestaties bij het aanvullen van kennisgrafieken aanzienlijk te verbeteren ten opzichte van bestaande prefix-methode.
Deze paper introduceert AuthenHallu, het eerste hallucinatie-detectiebenchmark dat volledig is opgebouwd uit authentieke LLM-menselijke interacties om de beperkingen van kunstmatige benchmarks te overwinnen en inzicht te geven in de frequentie en aard van hallucinaties in reële scenario's.
Dit onderzoek toont aan dat smalle finetuning duidelijke, interpreteerbare sporen achterlaat in de activaties van grote taalmodellen die kunnen worden gebruikt om het trainingsdoel te reconstrueren, maar ook waarschuwt dat dergelijke modellen als proxy voor bredere finetuning-studies onrealistisch kunnen zijn.