Navigating the Prompt Space: Improving LLM Classification of Social Science Texts Through Prompt Engineering

당신에게 수백만 권의 책을 읽고 즉시 선반에 분류할 수 있는 아주 똑똑한 로봇 사서가 있다고 상상해 보세요. 이것이 사회과학자들에게 **거대 언어 모델(LLM)**이 존재하는 방식입니다. 이들은 텍-스트를 분류하는 데 사용됩니다. 예를 들어, 의회 법안을 정책 주제별로 분류하거나, 설문 조사 답변이 "감정적"인지 아니면 "중립적"인지 결정하는 식입니다.

한동안 연구자들은 "이 로봇이 이 일을 할 수 있는가?"를 물었습니다. 대답은 불확실한 "아마도"였습니다. 하지만 이제 질문은 바뀌었습니다. "어떻게 하면 로봇에게 최선의 지침을 주어 작업을 완벽하게 수행하게 할 것인가?" 이것을 **프롬프트 엔지니어링(prompt engineering)**이라고 부릅니다.

"프롬프트"를 로봇에게 건네주는 사용 설명서라고 생각해보세요. 이 논문의 저자들은 이 사용 설명서를 가지고 거대한 "만약에?" 게임을 하기로 했습니다. 그들은 단순히 추측한 것이 아니라, 두 종류의 로봇(GPT 4o와 Gemini 2.0 Flash)과 두 가지 서로 다른 분류 작업(정책 분류기, 감정 분류기)을 가지고 대규모 실험을 진행했습니다.

1. 정책 분류기: 21가지 유형의 정부 법안 제목을 가져와서 올바른 정책 카테고리로 분류합니다.
2. 감정 분류기: 개방형 설문 답변을 읽고 그것이 "감정적"인지 "중립적"인지 결정합니다.

그들은 무엇이 가장 잘 작동하는지 알아보기 위해 설명서의 세 가지 특정 부분을 수정했습니다:

• 레이블 설명 (Label Descriptions): 로봇에게 단순히 선반 이름의 목록(예: "보건", "교육")만 주었을까요, 아니면 각 선반에 무엇이 들어가는지 설명하는 짧은 단락도 함께 작성했을까요?
• 지침적 넛지 (Instructional Nudges): 로봇에게 "주의하세요! 낙태 관련 법안은 '보건'이 아니라 '시민권'으로 분류해야 합니다!"와 같은 작은 메모를 추가했을까요?
• 퓨샷 예시 (Few-Shot Examples): 나머지 작업을 수행하기 전에, 이미 올바르게 분류된 몇 가지 법안의 예시를 로봇에게 보여주었을까요?

큰 놀라움: 더 많은 것이 항상 더 나은 것은 아니다

이것이 이 논문이 발견한 가장 중요한 점이며, 약간의 반전이 있습니다. 당신은 로봇의 설명서에 더 많은 정보를 주는 것이 항상 로봇을 더 똑똑하게 만들 것이라고 생각할 수도 있습니다. 논문은 이것이 사실이 아닐 수 있음을 시사합니다.

사실, 저자들은 최소한의 증가(설명이나 예시를 아주 조금 추가하는 것)가 성능 향상에 가장 큰 도움을 준다는 것을 발견했습니다. 하지만 계속해서 더 많은 세부 사항을 추가한다고 해서 로봇이 더 나아지는 것은 아니었습니다. 계속 내용을 추가하면 로봇은 한계점에 도달하여, 텍스트를 더 많이 추가해도 아주 미미하고 쓸모없는 수준의 개선만을 보였습니다.

심지어 더 놀랍게도, 이 논문은 때때로 더 많은 맥락을 추가하는 것이 로봇을 자신의 업무에 더 서투르게 만들 수도 있다고 제안합니다. 이것은 마치 친구가 퍼즐을 푸는 것을 돕기 위해 모든 단서를 한꺼번에 소리 높여 외치는 것과 같습니다. 결국 친구는 혼란스러워하며 퍼즐 조각을 떨어뜨리게 될 것입니다.

"배치(Batch)" 기법

연구진은 또한 로봇이 한 번에 얼마나 많은 항목을 분류해야 하는지도 테스트했습니다. 그들은 법안을 한 번에 1개씩 분류하기도 하고, 10개, 100개, 500개, 심지어 1,000개씩 분류하기도 했습니다.

논문은 로봇이 한 번에 단 하나의 항목만 분류하는 것이 보통 가장 좋지 않은 전략이라고 제안합니다. 이는 로봇을 사용하는 비용이 가장 많이 들 뿐만 아니라, 성능 면에서도 좋지 않습니다. 대신, 논문은 배치 분류(batch classification)(로봇에게 100개나 500개의 항목 뭉치를 한 번에 분류하도록 주는 것)가 보통 더 우수한 선택임을 나타냅니다.

"하나의 크기로 모두에게 적용된다"는 신화

아마도 가장 결정적인 교훈은, 한 프로젝트에서 사용한 "완벽한 프롬프트"를 다른 프로젝트로 그대로 복사해서 붙여넣을 수 없다는 것입니다. 논문은 모델, 작업, 그리고 배치 크기에 따라 상당한 이질성(substantial heterogeneity)(멋진 말로 "큰 차이")이 존재한다고 제사합니다.

정치 법안을 분류하는 데 완벽했던 방식이 설문 조사의 감정을 분류하는 데는 처참하게 실패할 수 있습니다. 심지어 같은 로봇이라도 어떻게 질문하느냐에 따라 다르게 행동할 수 있습니다. 이 때문에 저자들은 연구자들이 일반적인 규칙에 의존할 수 없다고 주장합니다. 만약 당신이 자신의 연구에 이 로봇들을 사용하고 싶다면, 당신의 특정 작업에 무엇이 적합한지 확인하기 위해 직접 테스트를 수행해야 합니다.

"제로 템퍼러처(Zero-Temperature)"의 미스터리

마지막으로, 논문은 이 로봇들에 대해 무언가 기묘한 점을 지적합니다. 연구자들이 로봇의 "온도(temperature)"(무작위성을 조절하는 설정)를 **제로(0)**로 설정했을 때—이는 로봇이 엄격하고 결정론적인 계산기처럼 행동해야 함을 의미합니다—결과가 항상 동일하지는 않았습니다. 논문은 정확히 같은 프롬프트를 사용하더라도, 모델과 프롬프트의 세부 사항에 따라 로봇의 출력이 약간씩 달라질 수 있다고 제사합니다. 이는 당신이 로봇에게 일관성을 강요하더라도, 로봇이 두 번의 실행에서 항상 똑같은 답을 줄 것이라고 가정할 수 없음을 의미합니다.

결론

이 논문은 LLM을 완벽하게 만드는 "마법의 주문"을 찾아냈다고 주장하는 것이 아닙니다. 대신, 더 나은 결과를 얻는 길은 신중하고 구체적인 테스트라는 점을 시사합니다.

• 프롬프트에 더 많은 텍스트를 넣는 것이 더 좋다고 가정하지 마세요.
• 배치를 할 수 있다면 항목을 하나씩 분류하지 마세요.
• 하나의 작업에 적합한 방식이 다른 작업에는 맞지 않을 수 있다는 점을 명심하세요.
• 당신의 작업에 맞는 설정을 사용하기 전에 반드시 직접 테스트를 수행하세요.

이것은 이 AI 도구들이 강력하긴 하지만, 여전히 약간은 길들여지지 않은 야생마와 같다는 점을 상기시켜 줍니다. 당신은 그냥 안장을 얹고 올라타는 것이 아니라, 이 특정한 말을 이 특정한 여정을 위해 어떻게 다루어야 하는지를 배워야 합니다.