2020 papers
Dit onderzoek toont aan dat contrastieve sturing van grote taalmodellen kwetsbaar is voor kwaadwillende datasetcorruptie, maar dat deze kwetsbaarheid effectief kan worden gemitigeerd door het gebruik van robuuste schatters voor het berekenen van het gemiddelde.
Deze paper introduceert Density-Guided Response Optimization (DGRO), een methode die taalmodellen aanpast aan gemeenschapsnormen door gebruik te maken van impliciete acceptatiesignalen en de geometrische dichtheid in representatieruimtes, waardoor effectieve uitlijning mogelijk wordt zonder expliciete voorkeurslabels.
Deze studie toont aan dat feedback gegenereerd door AI op basis van automatisch afgeleide leervorderingen (learning progressions) even kwalitatief hoogwaardig is als feedback gebaseerd op door experts ontworpen rubrieken voor middelbare scholieren in de scheikunde.
Dit artikel onderzoekt de uitdagingen van hallucinaties en misinformatie door grote taalmodellen en schetst de noodzakelijke technologische, regelgevende en educatieve maatregelen om de waarheidsvinding in het tijdperk van generatieve AI te waarborgen.
Dit artikel evalueert het potentieel van ChatGPT als kwantitatieve co-pilot voor data science-werkstromen, waarbij de mogelijkheden voor exploratie, visualisatie en modellering worden geïllustreerd en de noodzaak van zorgvuldige overweging van de beperkingen wordt benadrukt.
Dit survey biedt een uitgebreide analyse van het gebruik van Large Language Model-agenten in financiële trading, waarbij het de huidige architecturen, data-inputs, prestaties en uitdagingen samenvat en toekomstige onderzoeksrichtingen schetst.
Dit paper introduceert SynthKG en Distill-SynthKG, een pipeline die synthetische document-KG-paren genereert om een kleiner model te trainen dat niet alleen superieure kennisgrafiek-kwaliteit levert ten opzichte van grotere baselines, maar ook de prestaties verbetert in zoekopdrachten en vraagbeantwoording via een nieuw grafiekgebaseerd ophaalframework.
Dit artikel introduceert en valideert een nieuwe familie van activeringsfuncties gebaseerd op orthonormale bases, waaronder polynomen en trigonometrische functies, die door middel van eenvoudige initialisatie stabiel kunnen worden getraind in diepe modellen zoals GPT-2 en ConvNeXt zonder explosie of verdwijning van gradiënten, terwijl ze tevens nauwkeurige benaderingen bieden voor klassieke activeringen die nuttig zijn voor fine-tuning.
Het paper introduceert AStar, een trainingsvrije methode voor multimodaal redeneren die door het gebruik van aanpasbare 'thought cards' complexe visuele taken efficiënter oplost dan bestaande zoek- of post-trainingstechnieken, zoals blijkt uit de verbeterde prestaties op wiskundige benchmarks ten opzichte van GPT-4o.
Deze paper introduceert een trainingsvrije methode die hallucinatiedetectie bij grote taalmodellen aanzienlijk verbetert door tijdens het bemonsteren ruis toe te voegen aan modelparameters of activaties om Bayesiaanse onzekerheid beter te benutten dan standaard token-bemonstering.
Dit paper introduceert LLM-ProS, een nieuwe evaluatiemethode die de prestaties van toonaangevende grote taalmodellen analyseert op ICPC-wedstrijdproblemen om hun redeneervermogen, nauwkeurigheid en efficiëntie te benchmarken.
Deze paper introduceert een robuust adaptatiekader voor grote multimodale modellen dat de prestaties en generalisatie bij het detecteren van hatelijke memes verbetert, terwijl het tegelijkertijd de interpretatievermogen en weerstand tegen adversariale aanvallen versterkt.
Deze paper introduceert MemeXplain, een nieuw dataset en een multi-stap optimalisatiestrategie voor Vision-Language Models, die de detectie van propagandistische en hatelijke memes in het Arabisch en Engels aanzienlijk verbetert door gelijktijdig labels te voorspellen en uitleg te genereren.
Deze paper introduceert een nieuwe reinforcement learning-methode die grote taalmodellen direct fine-tuned om hun antwoorden op feitelijke vragen te koppelen aan nauwkeurig gekalibreerde betrouwbaarheidsinschattingen, waardoor zowel over- als ondervertrouwen wordt gestraft en de modellen een algemeen bewustzijn van hun eigen zekerheid ontwikkelen.
Deze studie analyseert 92 open-source taalmodellen en toont aan dat het meenemen van ontwerpfactoren zoals data-samenstelling en architecturale keuzes, naast modelgrootte, de voorspelling van downstream-prestaties aanzienlijk verbetert en inzicht biedt in hoe specifieke ontwerpbeslissingen de eindcapaciteiten vormen.
Dit survey biedt een systematische review van de transformatieve rol van grote taalmodellen in de bio-informatica, waarbij recente vooruitgang, uitdagingen en toekomstige richtingen worden belicht om innovaties in de precisiegeneeskunde te stimuleren.
Dit paper introduceert LLaVE, een reeks multimodale embedding-modellen die gebruikmaken van hardheid-gewogen contrastief leren om de discriminatie van moeilijke negatieve paren te verbeteren, waardoor state-of-the-art prestaties worden bereikt op de MMEB-benchmark met een opmerkelijke schaalbaarheid en generalisatie naar videotaak.
Het paper introduceert Vision-R1, een multimodaal groot taalmodel dat door middel van een zelfgeconstrueerde dataset en een geavanceerde trainingsstrategie met versterkende leer (RL) de redeneerprestaties aanzienlijk verbetert en daarmee bijna gelijk komt aan de prestaties van OpenAI O1 op wiskundige benchmarks.
Dit paper introduceert een nieuw generatief model en bewijst dat next-token prediction leidt tot representaties die de logaritmen van de posterieure kansen op latente, mensinterpreteerbare concepten benaderen, wat de lineaire representatiehypothese theoretisch onderbouwt en empirisch wordt gevalideerd op verschillende LLM-families.
Dit paper introduceert MoBLLM, een kostenefficiënt fundamenteel model op basis van open-source grote taalmodellen dat door middel van parameter-efficiënt fijnafstemmen superieure prestaties, robuustheid en overdraagbaarheid bereikt bij het voorspellen van individuele mobiliteit in diverse real-world scenario's.