Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering
Diese Arbeit zeigt, dass die systematische Variation von Prompt-Engineering-Elementen wie Label-Beschreibungen, instruktiven Nudges und Few-Shot-Beispielen zwar die Klassifizierungsgenauigkeit von LLMs für sozialwissenschaftliche Texte signifikant verbessern kann, die Leistungssteigerungen jedoch oft nach minimalen Kontextvergrößerungen nur noch marginal ausfallen, bei übermäßig viel Kontext sogar zurückgehen können und je nach Modell sowie Aufgabe erheblich variieren, was eine individuelle Validierung statt einer bloßen Verlassenschaft auf allgemeine Regeln erforderlich macht.