Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
Dit artikel toont aan dat hoewel het systematisch variëren van elementen in prompt engineering, zoals labelbeschrijvingen, instructieve nudges en few-shot voorbeelden, de nauwkeurigheid van LLM-classificatie voor sociaalwetenschappelijke teksten aanzienlijk kan verbeteren, de prestatiewinst vaak marginaal is bij minimale toenames in context, soms kan afnemen bij overmatige context, en aanzienlijk varieert tussen modellen en taken, wat individuele validatie noodzakelijk maakt in plaats van het vertrouwen op algemene regels.