4373 papers
Dit onderzoek kwantificeert hallucinaties in medische vraag-antwoordtaken van taalmodellen en toont aan dat LLaMA-70B-Instruct in 19,7% van de gevallen feitelijke fouten maakt ondanks hoge plausibiliteit, terwijl een negatief verband wordt gevonden tussen hallucinatiepercentages en de door clinici beoordeelde bruikbaarheid.
Deze paper introduceert een framework dat de prestaties van Large Language Models bij Feature Transformation verbetert door een gesloten lus te gebruiken waarin trajecten van succesvolle transformaties worden geëvolueerd en geselecteerd via diversiteitsbewuste contextoptimalisatie, wat leidt tot superieure resultaten op diverse tabulaire benchmarks.
Dit artikel presenteert een pipeline die causaal gefundeerde circuits in GPT-2 Small koppelt aan betrouwbare natuurlijke taalverklaringen, waarbij wordt vastgesteld dat LLM-generatie superieur is aan sjablonen maar dat modelvertrouwen geen voorspeller is voor de eerlijkheid van de verklaringen.
Dit artikel introduceert de System Hallucination Scale (SHS), een lichtgewicht, mensgericht instrument dat, in navolging van bestaande psychometrische schalen, hallucinatiegerelateerd gedrag in grote taalmodellen evalueert vanuit het gebruikersperspectief en in een realistische studie met 210 deelnemers is gevalideerd als een betrouwbaar hulpmiddel voor systemontwikkeling en monitoring.
Deze paper presenteert een twee-trapsarchitectuur die LLaMA-3.1-8B-Instruct en een fijngetune Legal-Roberta-Large combineert om non-disclosure agreements automatisch te segmenteren en te classificeren, wat resulteert in een hoge precisie en haalbaarheid voor de analyse van deze juridische documenten.
Dit artikel introduceert PoultryLeX-Net, een lexicon-gestuurde, domein-geadapteerde dual-stream transformer-architectuur die met een nauwkeurigheid van 97,35% superieur presteert bij het analyseren van sentiment en thema's in grote hoeveelheden ongestructureerde tekst over de pluimveesector.
Dit paper introduceert TAMUSA-Chat, een onderzoeksvriendelijk raamwerk voor het ontwikkelen van domein-geadapteerde conversatiemodellen voor academische instellingen, dat gebruikmaakt van gecontroleerde fijne afstemming en retrieval-augmented generation om verantwoorde en transparante AI-deployments te waarborgen.
Dit paper introduceert de CEI-benchmark, een dataset van 300 gevalideerde scenario's die wordt gebruikt om het vermogen van taalmodellen om pragmatisch redeneren en impliciete betekenissen te interpreteren in verschillende machtsdynamieken en sociale situaties te evalueren.
Dit onderzoek toont aan dat grote taalmodellen weliswaar compositionaliteit in hun interne representaties ontwikkelen, maar dat deze niet altijd consistent vertalen naar functioneel succes bij taakuitvoering, wat de noodzaak van een contrastieve evaluatie benadrukt.
Dit onderzoek toont aan dat bij het evalueren en verbeteren van antwoorden op gedragsvragen tijdens sollicitatiegesprekken een mens-in-de-lus-aanpak significant beter presteert dan geautomatiseerde chain-of-thought prompting, vooral wat betreft authenticiteit, zelfvertrouwen en efficiëntie.
Dit onderzoek evalueert de robuustheid en pedagogische veiligheid van offline grote taalmodellen voor het Turks erfgoedonderwijs en concludeert dat modellen met 8 tot 14 miljard parameters de beste balans bieden tussen kosten en veiligheid, aangezien grotere schaal niet automatisch leidt tot betere weerstand tegen anomalieën of minder sycofantische bias.
Hoewel de empathie van OpenAI-modellen statistisch onveranderd is gebleven, toont deze studie aan dat gebruikers de 'verloren empathie' waarnemen als een verschuiving in veiligheidsinstellingen, waarbij modellen nu crises beter detecteren maar soms te veel advies geven, wat leidt tot een waarneembaar maar onzichtbaar compromis voor kwetsbare gebruikers.
Deze paper presenteert een geautomatiseerd evaluatiekader dat semantische en sentimentanalyse gebruikt om de prestaties van verschillende LLM's en Google Translate bij het vertalen van Chinees naar Engels te vergelijken, waarbij wordt geconcludeerd dat hoewel deze modellen goed presteren in nieuwsvertalingen, ze moeite hebben met het behoud van culturele nuances en klassieke verwijzingen in literaire teksten.
Dit artikel presenteert een ontwerp en validatie van een op zoekopdrachten gebaseerd hulpmiddel dat de veiligheidsevaluatie, certificering en naleving van regelgeving voor onbemande luchtvaartsystemen ondersteunt door autoritatieve bronnen te gebruiken voor traceerbare en controleerbare antwoorden, waarbij menselijke expertise behouden blijft voor kritieke beslissingen.
Dit artikel introduceert LatamQA, een dataset van meer dan 26.000 meervoudige keuzevragen in het Spaans en Portugees, afgeleid van Wikidata en Wikipedia, om de geografische en culturele bias van grote taalmodellen ten opzichte van Latijns-Amerika te kwantificeren en te onthullen dat deze modellen vaak beter presteren voor Iberische Spaanse cultuur dan voor die van Latijns-Amerika.
Dit paper introduceert SpreadsheetArena, een platform voor de evaluatie van grote taalmodellen bij het genereren van volledige spreadsheetwerkboeken via blinde paarvergelijkingen, waarbij wordt vastgesteld dat voorkeuren sterk variëren en zelfs geavanceerde modellen moeite hebben met het naleven van domeinspecifieke beste praktijken.
Dit paper introduceert SENS-ASR, een methode die de transcriptiekwaliteit van streaming automatische spraakherkenning verbetert door akoestische informatie aan te vullen met semantische informatie afgeleid van verleden frames via kennisdistillatie, wat resulteert in een aanzienlijke vermindering van de woordfoutenratio bij scenarios met een kleine chunk-grootte.
Dit artikel toont aan dat voor de classificatie van Arabische medische teksten in 82 categorieën gespecialiseerde bidirectionele encoders (zoals AraBERTv2) aanzienlijk beter presteren dan causale decoders, omdat ze een meer robuuste globale semantische context vastleggen die essentieel is voor nauwkeurige fijnkorrelige categorisatie.
Dit paper introduceert Personalized GRPO (P-GRPO), een nieuw framework dat de beperkingen van standaard GRPO voor persoonlijke voorkeursuitlijning oplost door de voordeelsschatting te ontkoppelen van batchstatistieken en te normaliseren op basis van voorkeursgroepspecifieke geschiedenis, wat leidt tot snellere convergentie en een betere uitlijning met heterogene menselijke voorkeuren.
Dit paper introduceert FERRET, een geautomatiseerd rood-team-framework dat gebruikmaakt van horizontale, verticale en meta-expansies om effectieve multi-modale adversariële gesprekken te genereren die superieur presteren ten opzichte van bestaande methoden.