1153 papers
SarcasmMiner is een versterkingsleringsframework voor post-training dat door middel van een dubbel-track distillatiestrategie en een generatieve beloningsmodel de robuustheid van audio-visuele sarcasme-herkenning verbetert door pragmatische incongruïteit op te lossen en hallucinaties te voorkomen.
Dit artikel biedt een formeel raamwerk dat de waarde van AI-debat voor schaalbaar toezicht relateert aan de geometrische kennisdivergentie tussen modellen, waarbij wordt aangetoond dat debat alleen een significant voordeel biedt wanneer de kennis van de deelnemers divergeert in een specifiek lineair regime.
In dit artikel wordt WavSLM voorgesteld, een spraaktaalmodel dat via distillatie van WavLM-representaties in een enkele codebook wordt getraind om semantische en akoestische informatie zonder tekstsupervisie in één tokenstroom te modelleren, waardoor het een schaalbaar en coherent generatief paradigma voor spraak mogelijk maakt.
Het artikel introduceert Med-V1, een familie van kleine taalmodellen met slechts drie miljard parameters die, getraind op synthetische data, kosteneffectief en nauwkeurig biomedische bewijsattributie en hallucinatie-detectie uitvoert, zelfs in vergelijking met veel grotere frontier-modellen zoals GPT-5.
Deze paper introduceert PersianPunc, een groot dataset van 17 miljoen voorbeelden en een efficiënte ParsBERT-gebaseerde methode voor het herstellen van leestekens in het Perzisch, die een hoge nauwkeurigheid bereikt zonder de nadelen van overcorrectie en hoge rekenkosten van grote taalmodellen.
Dit paper introduceert een door mensen geannoteerd meertalig corpus met originele en vereenvoudigde teksten in het Spaans, Catalaans en Italiaans om de toegang tot democratische participatieprocessen te ondersteunen en de ontwikkeling van automatische tekstvereenvoudiging voor minder bedreigde talen te bevorderen.
Dit onderzoek presenteert BoostedTSV-M, een nieuw model-merging-algoritme dat de prestaties van volledige fine-tuning voor meerdomein-ASR in het Europees Portugees overtreft terwijl het tegelijkertijd de generalisatie voor buiten-de-verdeling-data behoudt.
Het paper introduceert DiSCTT, een difficulty-aware en consensus-gestuurd zelf-curriculumkader voor testtijdadaptatie dat door dynamisch te kiezen tussen supervisie en versterkingslering op basis van instantspecifieke onzekerheid, de redeneerprestaties van grote taalmodellen aanzienlijk verbetert met minder rekenkracht en hogere stabiliteit.
Dit artikel introduceert Progressive Residual Warmup (ProRes), een methode voor het vooraf trainen van taalmodellen die de stabiliteit en convergentie verbetert door de bijdrage van diepere lagen geleidelijk op te bouwen terwijl de eerdere lagen zich eerst stabiliseren.
Deze studie toont aan dat door middel van een reasoning-georiënteerde fine-tuning-strategie, lage-parameter LLM's (<4B) op het gebied van woordbetekenisdisambiguatie vergelijkbare prestaties kunnen leveren als grote modellen zoals GPT-4-Turbo, terwijl ze aanzienlijk minder rekenkracht en energie vereisen.
Dit onderzoek toont aan dat AI-modellen introspectie via twee gescheiden mechanismen uitoefenen: het afleiden van anomalieën uit de prompt en directe toegang tot interne toestanden, waarbij laatstgenoemde weliswaar anomalieën detecteert maar niet hun semantische inhoud kan identificeren.
Deze paper introduceert een unificerend framework en een byte-level Sequential Monte Carlo-algoritme om meerdere taalmodellen met verschillende vocabulaires te combineren in -ensembles, waardoor er consistent kan worden gesampled uit geaggregeerde verdelingen die superieure prestaties leveren ten opzichte van traditionele gemiddelde waarschijnlijkheidsbenaderingen.
Dit paper introduceert de Distributed Partial Information Puzzle (DPIP) en een bijbehorend multimodaal dataset om de uitdagingen van het modelleren van gemeenschappelijke grond onder epistemische asymmetrie te onderzoeken, waarbij blijkt dat zowel moderne grote taalmodellen als axiomatische benaderingen op basis van dynamische epistemische logica moeite hebben met het nauwkeurig bijhouden van taakvoortgang en geloofsstaten.
FlashAttention-4 is een nieuwe implementatie die algoritme- en kernel-pipelining co-design combineert om de asymmetrische hardware-schaalbaarheid van Blackwell GPU's (zoals de B200) te benutten, waardoor een tot 2,7× hogere snelheid en tot 71% TFLOP-utilisatie wordt bereikt, terwijl de volledige expressiviteit behouden blijft met 20-30× snellere compilatietijden dankzij een CuTe-DSL in Python.
Dit artikel introduceert DEBISS, een nieuw corpus van gesproken en individuele debatten met semi-gestructureerde kenmerken en uitgebreide NLP-annotaties, dat de huidige schaarste aan debatcorpora in de literatuur wegneemt.
Deze studie introduceert NCTB-QA, een groot dataset voor vraag-antwoordtaken in het Bengaals met een evenwichtige verdeling van beantwoordbare en onbeantwoordbare vragen uit nationale leerboeken, en toont aan dat domeinspecifieke fine-tuning van transformer-modellen de prestaties aanzienlijk verbetert.
Dit paper introduceert INTRA, een methode die de parametrische kennis van grote taalmodellen benut om claims zonder externe zoekopdrachten te verifiëren en hiermee de prestaties en generalisatie van bestaande fact-checking-systemen verbetert.
Dit artikel toont aan dat activatieprobing modelovertuigingen kan onthullen die eerder zichtbaar zijn dan de chain-of-thought, waardoor performatief redeneren kan worden onderscheiden van echte redeneerprocessen en adaptieve berekening mogelijk wordt gemaakt.
Dit onderzoek gebruikt gecensureerde Chinese taalmodellen als natuurlijk testplatform om methoden voor het eliciteren van eerlijke antwoorden en het detecteren van leugens te evalueren, waarbij wordt geconcludeerd dat bepaalde prompts en fine-tuning technieken de waarheidsvinding verbeteren maar geen enkele methode volledig fouten elimineert.
Dit onderzoek onthult dat de vaak waargenomen samenhang tussen massale activeringen en attentie-zinks in Transformer-modellen voornamelijk een architecturaal artefact is dat wordt veroorzaakt door de pre-norm-configuratie, waarbij deze fenomenen in werkelijkheid verschillende functies vervullen: massale activeringen fungeren als globale, impliciete parameters, terwijl attentie-zinks lokaal de aandacht verstoren en biasen naar korte afhankelijkheden.