Technische Samenvatting: Automatische Generatie van Highlights voor Academische Artikelen via Prompt-gebaseerd Leren

Probleemstelling

De academische literatuur groeit snel in volume en diversiteit, wat aanzienlijke uitdagingen creëert voor onderzoekers die proberen relevante werken efficiënt te lokaliseren, te lezen en te analyseren. Hoewel "Highlights"—gecondenseerde samenvattingen van kritieke bevindingen—worden erkend als een effectief hulpmiddel voor snelle begrip en optimalisatie voor zoekmachines, bieden veel tijdschriften deze niet aan. Bestaande oplossingen voor automatische generatie van highlights vertrouwen op supervised learning-methoden die grootschalige, domeinspecifieke trainingsdatasets vereisen. Deze traditionele benaderingen kampen met twee primaire beperkingen: ze vereisen aanzienlijke computationele middelen om meerdere modellen voor verschillende domeinen te trainen, en ze vergen veel tijd en inspanning om grote trainingscorpora te construeren, wat de focus kan afleiden van modeloptimalisatie.

Methodologie

Deze studie stelt een Prompt-gebaseerd Leerframework voor om highlights van academische artikelen direct vanuit abstracts te genereren, met als doel de afhankelijkheid van grote trainingsdatasets te verminderen terwijl een hoge prestatie behouden blijft.

Datacollectie

De onderzoekers maakten gebruik van drie bestaande datasets die verschillende domeinen beslaan:

• CSPubSum: Computerwetenschappen.
• AIPubSum: Kunstmatige Intelligentie.
• BioPubSum: Biomedisch.
  Deze datasets bevatten paper-abstracts en de bijbehorende door auteurs geschreven highlights. De auteurs hebben de originele Elsevier-links gecrawld om de volledige tekst van abstracts en highlights op te halen, en de data schoongemaakt om lege records en formateringsproblemen te verwijderen.

Prompt Design

De kern van de methodologie betreft het transformeren van de input (abstract) naar een formaat dat geschikt is voor pre-trained taalmodellen via prompt-templates.

• Template Constructie: Negen verschillende prompt-templates zijn ontworpen, variërend in bewoording (bijv. "Summarize," "Extract," "Refine") en restricties (bijv. het specificeren van het aantal highlights of het aanvragen van opsommingstekens).
• In-Context Learning: Voor het ChatGPT-model implementeerden de auteurs een "In-context Learning"-benadering. Dit hield in dat er een "Demonstratie"-sectie aan de prompt werd toegevoegd, die $k$ voorbeelden van abstract-highlight paren uit de trainingsset bevat. Het aantal demonstraties werd beperkt tot zes om de token-limiet van het model (4096 tokens) te accommoderen en ruimte over te laten voor de inference-input.
• Sample Selectie: Om de inhoud van de demonstraties te optimaliseren, vergeleken de studie willekeurige sample-selectie met twee relevantie-gebaseerde strategieën: semantische gelijkenis met behulp van text-embedding-ada-002 vectoren en oppervlakkige N-gram overlap.

Taalmodellen

Vijf modellen werden geëvalueerd:

1. GPT-2: Een pre-trained decoder-only model.
2. T5: Een text-to-text transformer model.
3. Flan-T5: Een instructie-getunede versie van T5.
4. BART: Een denoising autoencoder model.
5. ChatGPT (gpt-3.5-turbo-0613): Een conversationeel model getraind met Reinforcement Learning from Human Feedback (RLHF).

De lokale modellen (GPT-2, T5, Flan-T5, BART) werden uitgevoerd met de Hugging Face Transformers library met random sampling voor token-generatie. ChatGPT werd toegankelijk gemaakt via API.

Belangrijkste Bijdragen

1. Nieuwe Toepassing: Dit is de eerste studie die prompt-gebaseerd leren specifiek toepast op de taak van academische highlight-generatie, waarbij zowel standaard pre-trained modellen als Large Language Models (LLMs) zoals ChatGPT worden gebruikt.
2. Data-efficiëntie: De voorgestelde methode bereikt prestaties die vergelijkbaar zijn met state-of-the-art (SOTA) supervised modellen zonder dat daarvoor uitgebreide training op domeinspecifieke corpora nodig is. Het opereert effectief in zero-shot en few-shot scenario's.
3. Prompt Sensitiviteitsanalyse: De studie onderzoekt grondig hoe prompt-inhoud (formulering, restricties) en demonstratie-inhoud (hoeveelheid en selectiestrategie) de kwaliteit van de generatie beïnvloeden.
4. Demonstratie Selectiestrategie: De research identificeert dat het selecteren van demonstratie-samples gebaseerd op N-gram vocabulaire overlap meer stabiele en hogere prestaties oplevert dan willekeurige selectie of diepe semantische embedding-gelijkenis, met name in low-shot settings.

Experimentele Resultaten

De modellen werden geëvalueerd met behulp van ROUGE-N en ROUGE-L metrieken (specifiek F1-scores) over de drie datasets.

• Zero-Shot Prestaties: Zonder enige trainingssamples bereikte het ChatGPT-model, gekoppeld aan geoptimaliseerde prompt-templates, prestaties die vergelijkbaar zijn met voorheen gebruikte supervised learning-methoden. Opvallend genoeg overtrof het de SOTA op de AIPubSum en BioPubSum datasets.
• Few-Shot Prestaties: Wanneer een klein aantal trainingssamples (demonstraties) aan de prompts werden toegevoegd, verbeterde de prestatie van het ChatGPT-model aanzienlijk en overtrof het de SOTA-benaderingen op twee van de drie datasets.
• Model Vergelijking:
  • ChatGPT en Flan-T5 vertoonden de meest dramatische prestatiewinst wanneer prompts werden toegevoegd, waarschijnlijk door hun instructie-tuning.
  • GPT-2 en BART vertoonden weinig tot geen verbetering door prompting; BART presteerde het best in de "no prompt" conditie onder de lokale modellen.
  • Prompt Impact: Prompt 8 ("Refine 4~5 innovative points... in bullet point format without additional explanation") leverde consistent de beste resultaten op.
• Casestudy: Een kwalitatieve analyse van specifieke papers toonde aan dat de door het model gegenereerde highlights een hoge recall hadden, waarbij de belangrijkste punten die door menselijke auteurs werden benadrukt effectief werden gedekt. Echter, de precisie was lager, waarbij de gegenereerde outputs incidenteel irrelevante of redundante informatie bevatten.

Betekenis en Claims

De auteurs beweren dat deze studie een praktische, breed toepasbare oplossing biedt voor het automatisch genereren van highlights voor papers die deze momenteel missen. Door de noodzaak om te trainen op domeinspecifieke corpora weg te nemen, verlaagt de methode de drempel voor het toepassen van highlight-generatie in diverse academische velden.

De studie benadrukt dat hoewel large language models krachtige inherente capaciteiten bezitten, hun prestaties op specifieke taken zwaar afhankelijk zijn van de informatie die in de prompt-templates wordt verstrekt. De voorgestelde methode biedt datastructuur voor vervolgonderzoek in text mining en bibliometrie door de analyse van highlight-informatie voor een breder scala aan academische literatuur mogelijk te maken.

De auteurs hanteren een bescheiden toon met betrekking tot beperkingen en erkennen dat:

• Handmatige prompt engineering tijdrovend is en afhankelijk is van expert-intuïtie.
• De gegenereerde inhoud nog steeds nabewerking (filtering) kan vereisen om redundantie te verwijderen.
• Diepgaande analyse van prompt-sensitiviteit op modelniveau wordt beperkt door de toegang via API's tot closed-source modellen zoals ChatGPT.