Prompt Engineering and Architectural Ablations for Domain-Adaptive Resume Generation

In de moderne arbeidsmarkt is een cv meer dan een lijst met taken; het is een vertaling. Voor professionals die overstappen vanuit de academie, non-profitorganisaties of een totaal andere sector, is de uitdaging om hun eerdere ervaringen te herschrijven naar de specifieke taal die hiring managers in een nieuw vakgebied verwachten te zien. Een universitair hoogleraar die een onderzoeksbeurs beheerde, moet die ervaring bijvoorbeeld niet beschrijven als "beheer van subsidies", maar als "projectmanagement" en "budgetbeheer". Deze vertaling is moeilijk omdat de vaardigheden hetzelfde zijn, maar het vocabulaire anders is. Large language models, de krachtige computerprogramma's die mensachtige tekst kunnen genereren, hebben veelbelovende resultaten getoond bij het uitvoeren van deze vertaling. Echter, simpelweg een computer vragen om "dit cv te herschrijven" levert vaak resultaten op die ofwel te vaag zijn, ofwel de specifieke trefwoorden missen waar geautomatiseerde selectiesystemen naar zoeken. De vraag waar ontwikkelaars voor staan is niet alleen of deze modellen kunnen schrijven, maar hoe ze de modellen kunnen sturen om de juiste tekst te schrijven voor een specifiek professioneel doel zonder het hele computersysteem vanaf nul opnieuw te hoeven trainen.

Een onderzoeker aan de University of British Columbia zette zich in om dit technische vraagstuk op te lossen door het creëren van een cv te behandelen als een gecontroleerd experiment. De onderzoeker wilde precies begrijpen welke instructies en systeemontwerpen de beste resultaten opleveren bij het converteren van niet-traditionele werkgeschiedenis naar industrie-standaard documenten. Om dit te doen, bouwde de onderzoeker een testomgeving met uitsluitend publiekelijk beschikbare gegevens, inclusief een enorme overheidsdatabase van beroepvaardigheden en een collectie echte cv's en vacatures. De onderzoeker nam een enkel, open-source taalmodel en onderwierp het aan een rigoureuze reeks tests, waarbij telkens één variabele tegelijk werd aangepast om te zien wat het meest belangrijk was. Er werden verschillende manieren getest om het model te laten nadenken, verschillende manieren om het model te dwingen een structuur te volgen, en verschillende manieren om het schrijfproces zelf te organiseren.

De onderzoeker ontdekte dat de manier waarop je het model vraagt te werken een diepgaand verschil maakt. Wanneer de onderzoeker het model simpelweg een taak gaf zonder extra begeleiding, waren de resultaten inconsistent. Echter, wanneer de onderzoeker het model instrueerde om eerst de bronervaring af te breken in specifieke, overdraagbare vaardigheden voordat de uiteindelijke tekst werd geschreven, verbeterde de kwaliteit aanzienlijk. Deze methode, die een stapsgewijs redeneerproces inhoudt, bleek veel effectiever dan het model direct naar het uiteindelijke antwoord laten springen. De studie toonde aan dat deze "redeneringsgerichte" aanpak hielp om het diepere begrip van een taak te vatten, zoals het herkennen dat "het begeleiden van studenten" gelijkstaat aan "teamleiderschap" in een zakelijke omgeving. Dit was vooral waar voor kleinere, minder krachtige modellen; hoe gedetailleerder de instructies, hoe dichter deze kleinere modellen bij de prestaties van veel grotere, complexere systemen kwamen.

Structuur speelde ook een cruciale rol. De onderzoeker testte of het de model toestond vrij te schrijven of het dwong een vooraf ingesteld sjabloon in te vullen, betere resultaten opleverde. De onderzoeker stelde vast dat het vereisen dat het model zich aan een specifiek format hield, zoals het invullen van afzonderlijke vakken voor vaardigheden en ervaring, de mate waarin de gegenereerde cv overeenkwam met de trefwoorden in werkelijke vacatures drastisch verbeterde. Sterker nog, het gebruik van deze gestructureerde aanpak verhoogde de matchrate voor exacte trefwoorden met meer dan twaalf procentpunten vergeleken met vrije vorm van schrijven. Cruciaal was dat dit de tekst niet robotachtig of onleesbaar maakte; de tekst bleef vloeiend en natuurlijk, maar was veel eerder in staat om de initiële selectiefilters van werkgevers te passeren.

De onderzoeker onderzocht ook of het opdelen van de taak in meerdere stappen — een concept schrijven, het bekritiseren en vervolgens herschrijven — beter was dan het genereren van het hele document in één keer. De onderzoeker vond dat dit meerfasige proces de uiteindelijke tekst duidelijker en coherenter maakte, waarbij menselijke beoordelaars de georganiseerde concepten hoger waardeerden. Er werd echter ook een limiet aan dit voordeel ontdekt. Als het model al werd gevraagd om in de eerste stap zorgvuldig over het probleem na te denken, bood het toevoegen van extra rondes van kritiek en revisie weinig extra waarde. Het bleek dat de extra tijd en rekenkracht die nodig waren voor de meerfasige aanpak vaak onnodig waren als de initiële instructies sterk genoeg waren.

Uiteindelijk suggereert de studie dat het geheim van hoogwaardige cv-generatie niet ligt in het bouwen van grotere computers, maar in betere instructies en slimmere structuren. Door het model te begeleiden om de ervaring van een persoon eerst in kaart te brengen met een standaardlijst van professionele vaardigheden, en vervolgens de output in een duidelijk, trefwoordrijk formaat te dwingen, kunnen ontwikkelaars hulpmiddelen creëren die diverse carrièreverlopen betrouwbaar vertalen naar overtuigende sollicitaties. De bevindingen bieden een duidelijk pad voor iedereen die deze technologieën bouwt: focus op het redeneerproces en de structurele beperkingen, en je kunt professionele resultaten behalen zonder de meest dure hardware beschikbaar te hebben.