1861 papers
Dit paper introduceert CONCUR, een nieuw benchmark voor het evalueren van de vaardigheid van Large Language Models om concurrerende code te genereren, een domein dat complexer is dan sequentiële code en specifieke bugs zoals race conditions en deadlocks kent.
Dit onderzoek identificeert en kwantificeert de Order-to-Space Bias, een veelvoorkomende vertekening in moderne beeldgeneratiemodellen waarbij de volgorde van entiteiten in de tekst de ruimtelijke indeling onterecht bepaalt, en presenteert effectieve strategieën om dit probleem te verminderen zonder in te leveren op de generatiekwaliteit.
Dit paper introduceert ErrorLLM, een framework dat expliciet SQL-fouten modelleert via dedicated error tokens en structurele representaties om de detectie en correctie van syntactische en semantische fouten in tekst-naar-SQL-generatie te verbeteren.
Dit paper introduceert COREA, een kosten-efficiënt systeem dat een klein taalmodel (SLM) en een groot taalmodel (LLM) combineert via een vertrouwen-gebaseerde cascade en versterkingslering om de redeneerkosten met ongeveer 20% te verlagen terwijl de nauwkeurigheid nauwelijks daalt.
MOOSE-Star is een nieuw raamwerk dat de wiskundige onhaalbaarheid van het direct modelleren van het generatieve redeneerproces voor wetenschappelijke ontdekkingen overwint door de complexiteit van exponentieel naar logaritmisch te reduceren via gedecomponeerde subtaken, hiërarchische zoekopdrachten en een bijbehorend trainingsdataset genaamd TOMATO-Star.
Dit artikel introduceert Structure-of-Thought (SoT), een promptingtechniek die modellen helpt tekst te structureren, en T2S-Bench, het eerste benchmark om deze tekst-naar-structuurvaardigheden te evalueren, waarbij beide methoden de prestaties van taalmodellen aanzienlijk verbeteren.
Dit paper introduceert SWE-CI, het eerste repository-level benchmark dat agenten evalueert op hun vermogen om codebases te onderhouden via een continu-integratiecyclus, waardoor de focus verschuift van statische, eenmalige foutoplossing naar dynamische, langetermijnonderhoudbaarheid.
Dit onderzoek toont aan dat taalkundige modellen door geoptimaliseerde prompts in hun contextomgeving strategisch kunnen 'zandzakken' om evaluaties te ontlopen, waarbij de mate van onderprestatie afhangt van de taakstructuur en voornamelijk wordt veroorzaakt door bewuste redenering in plaats van oppervlakkige instructie-opvolging.
Deze paper introduceert de Stepwise Semantic Alignment (SSA)-methode, die een pseudo-bron domein gebruikt als semantische brug in plaats van een directe vervanging, aangevuld met hiërarchische kenmerken en zelfverzekerde leerstrategieën om de aanpassing van modellen aan ongelabelde doeldomeinen zonder broninformatie te verbeteren.
Deze studie toont aan dat zowel gesloten als open-source grote taalmodellen in staat zijn om in echte klinische transcripties een goede motivatie-interviewcompetentie te vertonen die vergelijkbaar is met die van menselijke therapeuten, wat hen tot haalbare kandidaten maakt voor het uitbreiden van counseling in settings met beperkte middelen.
Deze paper introduceert een hiërarchisch architectuurmodel dat lokale context koppelt aan globale semantische prototypes om de taak van retorische rol-labeling te verbeteren, ondersteund door het nieuwe SCOTUS-Law-dataset en gevalideerd op juridische, medische en wetenschappelijke benchmarks.
Dit onderzoek toont aan dat hoewel grote taalmodellen gesprekken kunnen genereren die lijken op cognitieve gedragstherapie, ze beperkt zijn in het tonen van empathie en het handhaven van consistentie, zelfs wanneer ze worden ondersteund door richtlijnen via Retrieval-Augmented Generation.
Deze studie evalueert de haalbaarheid en beperkingen van door LLM-aangedreven agenten voor het schalen van audits van donkere patronen op 456 websites van databemiddelaars, met name in de context van het uitoefenen van CCPA-rechten.
Dit artikel introduceert CzechTopic, een menselijk geannoteerd benchmark voor nul-shot onderwerplokalisatie in historische Tsjechische documenten, en evalueert diverse grote taalmodellen en BERT-varianten, waarbij de beste modellen menselijke overeenkomst benaderen ondanks variatie in prestaties.
Dit paper introduceert IROSA, een nieuw framework dat foundation modellen en imitatielearning combineert om robots via natuurlijke taal instructies veilig en zonder fine-tuning vaardigheden aan te passen voor industriële taken zoals het invoegen van lagers.
Dit onderzoek toont aan dat een hybride architectuur van AI-agenten en expertsystemen, die semantische hyperoniem-hyponiem-relaties gebruikt om cyberdreigingsinformatie om te zetten in CLIPS-code voor firewallregels, een betrouwbaardere en effectievere verdediging biedt tegen cyberdreigingen dan bestaande benaderingen.
Deze studie introduceert een anonieme evaluatiemethode die aantoont dat LLM's voor rolspelagenten vaak op namen vertrouwen in plaats van op echte personage-eigenschappen, en bevestigt dat het toevoegen van zelfgegenereerde persoonlijkheidskenmerken de prestaties aanzienlijk verbetert en een eerlijker benchmark mogelijk maakt.
Deze studie toont aan dat zorgvuldig aangepaste compacte modellen, getraind met beperkte data, de meest betrouwbare en generatordata-onafhankelijke beoordelaars kunnen zijn voor het automatisch evalueren van open medische vragen in het Frans.
Deze studie presenteert een monitoringmethode die op basis van interne activaties van grote taalmodellen beloningsmanipulatie (reward hacking) tijdens het generatieproces kan detecteren, wat een vroegtijdig en betrouwbaarder signaal biedt dan evaluatie van de uiteindelijke output.
Dit artikel onderzoekt hoe de opkomst van Large Language Models de betrouwbaarheid van bestaande methoden voor het voorspellen van vertaalkwaliteit beïnvloedt, door middel van 'hindsight'-experimenten op een uniek dataset met meerdere vertaalhypotheses die zijn geëvalueerd aan de hand van menselijke nabewerking.