2026 papers
Dit paper introduceert SpiroLLM, het eerste multimodale grote taalmodel dat spiogramtijdreeksen kan interpreteren om interpreteerbare COPD-rapporten te genereren met klinische validatie op een cohort van 234.028 personen uit de UK Biobank.
Dit paper introduceert MultiRole-R1, een diversiteitsversterkend trainingskader dat door het integreren van perspectief- en token-diversiteit de prestaties van grote redeneringsmodellen op subjectieve vragen aanzienlijk verbetert en zelfs de vaardigheden op objectieve wiskundige taken versterkt.
Deze paper daagt de opvatting uit dat rote learning generalisatie belemmert, door te demonstreren dat grote taalmodellen via een 'eerst memoriseren, dan generaliseren'-framework in staat zijn om grotendeels betekenisloze, uit het hoofd geleerde feiten later te herinterpreteren en te generaliseren op basis van semantisch zinvolle prompts.
In dit paper wordt DeepSieve voorgesteld, een agentisch RAG-framework dat complexe vragen opsplitst en via een LLM als kennisrouter doorlopend relevante informatie filtert, waardoor de precisie en diepgang van redenering op multi-hop vragen aanzienlijk verbetert ten opzichte van bestaande methoden.
Het paper introduceert Uni-CoT, een unificerend framework dat door middel van een tweeledige redeneringsparadigma en een gestructureerd trainingsproces coherente multimodale redenering over tekst en beelden mogelijk maakt met aanzienlijk lagere rekenkosten dan bestaande methoden.
Deze studie onthult dat voor Mixture-of-Experts-talenmodellen de optimale sparsiteit voor redeneertaken niet alleen wordt bepaald door het totale aantal parameters, maar door een combinatie van actieve FLOPs en het aantal tokens per parameter, waarbij redeneren baat heeft bij een optimale verhouding in plaats van maximale parametergrootte.
EigenBench is een zwarte-koox-methode die zonder grondwahrheid labels een vector van scores genereert om taalmodellen kwantitatief te vergelijken op waarde-uitlijning door hun onderlinge oordelen te aggregeren via EigenTrust, wat sterk correleert met menselijke evaluaties en objectieve benchmarks kan reproduceren.
Dit artikel introduceert GACD, een inferentie-methode die hallucinaties in multimodale grote taalmodellen aanpakt door tekst- en co-occurrence-bias te verminderen via gradiëntgebaseerde zelfreflectie, zonder dat finetuning of extra modellen nodig zijn.
Dit paper introduceert DQO, een nieuwe trainingsmethode die deterministische puntprocessen gebruikt om grote taalmodellen tijdens het post-training proces te optimaliseren voor zowel hoge kwaliteit als semantische diversiteit, waardoor de neiging tot eenvormige antwoorden wordt tegengegaan zonder in te leveren op prestaties.
BinaryShield is het eerste privacy-bewuste systeem dat organisaties in staat stelt om veilig aanvalsvingerafdrukken voor prompt-injectie over compliance-grenzen heen te delen door gebruik te maken van een unieke pipeline van PII-verwijdering, semantische embedding en binaire kwantisatie, waardoor de detectie van bedreigingen aanzienlijk wordt verbeterd zonder inbreuk te maken op de privacy.
Dit paper introduceert SVDecode, een lichtgewicht decoderingsmethode die de outputverdeling van grote taalmodellen direct afstemt op een taak via een stuurvector afgeleid van de KL-divergentie-gradiënt, waardoor de prestaties aanzienlijk worden verbeterd zonder extra trainbare parameters.
Dit onderzoek biedt een grootschalige evaluatie van de interactie tussen grote taalmodellen en grafdata, waarbij blijkt dat code-generatie de meest effectieve aanpak is voor diverse domeinen en grafstructuren, en dat deze methoden robuust presteren zelfs bij heterofiele netwerken.
Dit paper introduceert PMark, een robuuste en vervormingsvrije methode voor semantische watermerking in grote taalmodellen die gebruikmaakt van proxyfuncties en kanaalbeperkingen om de weerstand tegen parafrase-aanvallen te vergroten en de tekstkwaliteit te behouden.
Dit paper introduceert Group Tree Optimization (GTO), een methode die de prestaties van speculatieve decoding verbetert door het trainingsdoel van het draft-model af te stemmen op de boom-structuur van de decoding, wat leidt tot een hogere acceptatielengte en een extra snelheidswinst van 7,7% ten opzichte van de huidige state-of-the-art.
Dit paper introduceert T2PAM en het bijbehorende ROSA-algoritme, een lichtgewicht methode die grote taalmodellen in staat stelt om tijdens multi-turn gesprekken hun parameters in één stap aan te passen op basis van gebruikersfeedback, waardoor ze effectiever en efficiënter kunnen reageren zonder kostbare iteratieve optimalisatie.
Dit paper introduceert een methode om meerdere vooropleidingsexperimenten tegelijkertijd uit te voeren tijdens één trainingsrun, waardoor de rekenkosten voor wetenschappelijk onderzoek aan grote taalmodellen aanzienlijk worden verlaagd zonder de prestaties te beïnvloeden.
Dit artikel introduceert en analyseert het concept van dynamische niveauverzamelingen, een nieuw wiskundig object dat voortkomt uit een onberekenbaar fysisch proces dat de zelfmodificeerbaarheid van logische invarianten mogelijk maakt en zo de klassieke beperkingen van probabilistische Turing-machines uitdaagt.
Dit artikel introduceert FeynTune, een reeks gespecialiseerde taalmodellen voor de theoretische hoge-energiefysica die zijn ontwikkeld door het fine-tunen van Llama-3.1 op arXiv-abstraten, en toont aan dat deze modellen de basisversie en toonaangevende commerciële modellen overtreffen bij het voltooien van abstracts op dit vakgebied.
Dit artikel presenteert een benchmarkstudie die aantoont dat hoewel filterstrategieën voor het trainen van taalkundige modellen schadelijke inhoud effectief verminderen, dit als neveneffect leidt tot een verdere ondervertegenwoordiging van kwetsbare groepen in de datasets.
Hoewel ChatGPT tijdelijk de creatieve prestaties van mensen verhoogt, leidt het gebruik ervan op de lange termijn tot een terugkeer naar het oorspronkelijke prestatieniveau en een blijvende toename van homogeniteit in creatieve inhoud, wat de noodzaak benadrukt voor een voorzichtige integratie van generatieve AI.