1726 papers
OSCAR is een nieuwe online zachte compressie- en herordeningstechniek die de rekentijd van Retrieval-Augmented Generation-pipelines aanzienlijk verkort zonder in te leveren op de nauwkeurigheid, door dynamisch en query-afhankelijk informatie te comprimeren tijdens de inferentie.
Dit artikel introduceert een nieuw interactiegericht dataset en een verfijningsprocedure die Multimodale Grootte Taalmodellen gebruikt om de generatie van afbeeldingen met complexe objectinteracties te verbeteren door prompts te ontleden, afbeeldingen te evalueren en gerichte aanpassingen toe te passen.
Dit artikel introduceert N2M-RSI, een formeel model dat aantoont dat een AI-agent die zijn eigen output als trainingsdata gebruikt, na het overschrijden van een drempel voor informatieverwerking onbeperkt in complexiteit kan groeien, met potentieel superlineaire effecten in agent-zwermen.
Dit artikel introduceert PubHealthBench, een nieuwe benchmark met meer dan 8000 vragen gebaseerd op Britse overheidsrichtlijnen om de kennis van LLMs op het gebied van volksgezondheid te evalueren, waarbij wordt geconstateerd dat hoewel de nieuwste modellen bij meerkeuzevragen menselijke prestaties overtreffen, hun prestaties bij open antwoorden beperkter blijven en aanvullende veiligheidsmaatregelen vereisen.
Dit paper introduceert MoB, een methode voor visuele token-pruning die het inherente compromis tussen prompt-uitlijning en visuele behoud oplost door het probleem te herformuleren als een bi-objectief overdekkingsprobleem, wat leidt tot aanzienlijke versnelling van multimodale modellen met minimaal prestatieverlies.
Het artikel introduceert R1-Code-Interpreter, een model dat door middel van multi-stage versterkingslering en curriculum learning is getraind om code interpreter autonoom in te zetten voor diverse redeneertaken, waarbij het prestaties van GPT-4o overtreft en emergente zelfcontrole gedrag vertoont.
Deze paper introduceert Supervised Calibration (SC), een unificerend framework dat de beperkingen van bestaande kalibratiemethoden voor In-Context Learning in LLMs overwint door het leren van optimale affiene transformaties in de logit-ruimte, waardoor de beslissingsgrenzen effectief kunnen worden aangepast en de prestaties aanzienlijk worden verbeterd.
Deze studie analyseert hoe voorkeurmodellen voor taalmodellen systematisch worden beïnvloed door oppervlakkige kenmerken zoals lengte en stijl in plaats van inhoudelijke kwaliteit, en stelt een effectieve post-training-methode voor op basis van contrafactuele data-augmentatie om deze vertekeningen te verminderen en de betrouwbaarheid van de evaluaties te vergroten.
Dit paper introduceert CounselBench, een grootschalig benchmarkkader ontwikkeld met 100 mentale gezondheidsprofessionals om grote taalmodellen te evalueren op hun vermogen om veilige, klinisch onderbouwde en contextueel gevoelige antwoorden te geven op open vragen over mentale gezondheid, waarbij zowel de beperkingen van bestaande modellen als de systematische onderschatting van veiligheidsrisico's door AI-jurissen worden blootgelegd.
Deze paper introduceert 'Internal Confidence', een trainingsvrije methode die de onzekerheid van een groot taalmodel op query-niveau schat voordat er tokens worden gegenereerd, waardoor de kosten van adaptieve inferentie zoals RAG en modelcascading worden verlaagd zonder de prestaties te schaden.
Dit artikel introduceert een methode voor contextbiasing die gebruikmaakt van correcties op vervangingsfouten tijdens inferentie om de herkenning van woorden met een mismatch tussen uitspraak en spelling te verbeteren, wat resulteert in een significante vermindering van de woordfouten voor deze specifieke termen zonder de algehele prestaties te beïnvloeden.
Dit paper introduceert RLVER, een nieuw reinforcement learning-framework dat verifieerbare emotiebeloningen van gesimuleerde gebruikers gebruikt om de empathische vaardigheden van taalmodellen aanzienlijk te verbeteren zonder hun cognitieve competenties te verliezen.
Dit paper introduceert UQLM, een Python-pakket dat state-of-the-art onzekerheidskwantificatietechnieken gebruikt om hallucinaties in grote taalmodellen te detecteren en zo de betrouwbaarheid van hun output te vergroten.
Deze studie toont aan dat het toepassen van coreferentieoplossing de prestaties van Retrieval-Augmented Generation-systemen verbetert, met name door de meerwaarde voor kleinere modellen en de superieure contextopname bij gebruik van mean pooling.
Deze studie onthult dat grote taalmodellen nieuwe taken leren via in-context learning door een mechanisme genaamd 'functie-inductie' te gebruiken, waarbij meerdere attention heads parallel werken om abstracte functies zoals een 'off-by-one' optelling te generaliseren en te hergebruiken in diverse andere taken.
Dit paper introduceert het eerste uitgebreide meerlingual benchmark voor de evaluatie van tekstontsmetting in negen talen en toont aan dat voorgestelde metrics, waaronder LLM-as-a-judge-approaches, een aanzienlijk sterkere correlatie met menselijke beoordelingen vertonen dan bestaande methoden.
Dit paper introduceert Text2VLM, een innovatieve pipeline die tekst-only datasets omzet naar multimodale formaten om de kwetsbaarheid van Visuele Taalmodellen voor typografische prompt-injectie-aanvallen te evalueren en zo de veilige implementatie van deze modellen te bevorderen.
Dit paper introduceert WebDS, het eerste end-to-end benchmark voor webgebaseerde datawetenschap dat agenten test op complexe, multi-stap taken over diverse websites en een aanzienlijke prestatiekloof tussen huidige LLM-agenten en menselijke vaardigheden blootlegt.
Dit paper introduceert SEVADE, een zelfevoluerend multi-agent framework met ontkoppelde evaluatie dat hallucinaties vermindert en state-of-the-art prestaties bereikt bij de detectie van sarcasme door middel van een dynamische agentieve redeneermotor en een gescheiden rationele adjudicator.
Dit paper introduceert ObfusQAte, een nieuw raamwerk met de ObfusQA-benchmark om de kwetsbaarheid van grote taalmodellen voor hallucinaties en falen te evalueren wanneer ze geconfronteerd worden met verduisterde feitelijke vragen.