Introducing HALC: A general pipeline for the systematic and reliable construction of prompts for automated coding with LLMs in the computational social sciences

사회과학 분야에서 연구자들은 인간의 의사소통을 이해하기 위해 오랫동안 느리고 신중한 과정에 의존해 왔습니다. 그들은 수천 개의 문서—신문 기사, 정치 연설, 또는 소셜 미디어 댓글—를 읽고, 텍스트가 말하는 바에 따라 이를 범주로 분류합니다. 이를 내용 분석(content analysis)이라고 합니다. 수십 년 동안 가장 신뢰받는 방법은 이 분류 작업을 수행하기 위해 인간 독자를 고용하는 것이었습니다. 인간은 유연하며 뉘앙스를 이해할 수 있지만, 속도가 느리고 비용이 많이 들며 작업 가능한 시간에 한계가 있습니다. 최근 몇 년 사이, 대규모 언어 모델(large language models)로 알려진 강력한 컴퓨터 프로그램들이 등장했습니다. 이 프로그램들은 인간의 언어를 놀라운 실력으로 읽고 쓸 수 있으며, 이 분류 과정을 자동화할 수 있다는 약속을 제시합니다. 그러나 단순히 컴퓨터에게 텍스트를 읽고 분류하라고 요청하는 것은 일관되지 않은 결과를 초래할 때가 많습니다. 컴퓨터는 동일한 텍스트에 대해 두 번 질문을 받았을 때 다른 답을 내놓을 수도 있고, 연구자가 염두에 둔 구체적인 규칙을 오해할 수도 있습니다. 핵심적인 과제는 연구자가 만든 세심한 규칙을 어떻게 하면 인간 전문가가 제공하는 정확성을 잃지 않으면서 컴퓨터가 신뢰성 있게 따를 수 있는 지침으로 변환하느냐 하는 것이었습니다.

호엔하임 대학교(University of Hohenheim)의 한 연구팀은 이 문제를 해결하기 위한 새로운 방법인 HALC를 개발했습니다. 그들의 목표는 과학자들이 추측에 의존하는 대신, 이러한 강력한 컴퓨터 모델을 사용하여 체계적이고 투명하게 데이터를 코딩할 수 있도록 하는 단계별 파이프라인을 만드는 것이었습니다. 연구진은 이러한 컴퓨터 모델들이 인상적이기는 하지만 완벽하지 않다는 점을 인정하며 시작했습니다. 모델들은 예측 불가능할 수 있으며, 작업을 수행하도록 요청하는 방식에 따라 성능이 달라집니다. 신뢰할 수 있는 시스템을 구축하기 위해 연구팀은 먼저 대규모 예비 연구를 수행했습니다. 그들은 기후 운동에 관한 댓글 세트를 가져와 컴퓨터 모델에게 이를 반복해서 읽도록 했습니다. 그들은 어떤 방식의 '프롬프트(prompt, 지시어)'가 가장 일관되고 정확한 결과를 만들어내는지 확인하기 위해 수백 가지의 서로 다른 문구 형식을 테스트했습니다. 그들은 컴퓨터에게 동일한 텍스트를 다섯 번 읽게 한 뒤 가장 흔한 답변을 취하는 것이 결과를 상당히 안정화한다는 것을 발견했습니다. 또한, 컴퓨터를 가르치는 데 사용된 초기 인간 데이터의 품질이 매우 중요하다는 것을 발견했습니다. 만약 인간의 기준(ground truth)이 불확실하다면, 컴퓨터의 결과도 불확실해진다는 것입니다. 무엇보다도, 그들은 가장 좋은 지침이 짧거나 모호한 것이 아니라는 점을 배웠습니다. 가장 성공적인 프롬프트는 상세했으며, 컴퓨터에게 자신의 추론 과정을 단계별로 설명하고 최종 결정을 정당화하도록 요구했습니다. 이는 마치 인간 코더가 답을 적기 전에 문제에 대해 생각하는 과정과 흡사했습니다.

이러한 발견을 바탕으로 연구진은 HALC 파이프라인을 공식화했습니다. 이 과정은 특정 연구 프로젝트를 위한 정의와 규칙이 담긴 표준적인 인간 제작 코드북(codebook)에서 시작됩니다. 컴퓨터를 위해 바퀴를 새로 발명하는 대신, 연구자들은 이러한 인간의 규칙을 구조화된 프롬프트로 직접 변환합니다. 그런 다음 이 프롬프트를 작은 데이터 샘샘플에 테스트하여 컴퓨터의 출력을 원래의 인간 코딩과 비교합니다. 만약 컴퓨터가 인간의 신뢰도 기준에 부합하지 않는다면, 연구자들은 단순히 새로운 지침을 추측하여 만드는 것이 아닙니다. 대신, 더 구체적인 예시를 추가하거나 정의를 명확히 하는 등의 엄격하고 규칙 기반의 프로세스를 따라 프롬프트를 개선하고, 다시 테스트합니다. 이 순환 과정은 컴퓨터가 인간 코더와 동의하는 수준의 과학적으로 수용 가능한 일치도를 달성할 때까지 계속됩니다. 그 후에야 비로소 전체 데이터셋을 처리하기 위해 컴퓨터를 사용합니다. 이 접근 방식은 컴퓨터를 스스로 작동하는 마법 상자로 취급하는 것이 아니라, 인간의 판단에 의해 신중하게 보정되어야 하는 도구로 취급합니다.

이 시스템이 실제 세계에서 작동함을 증명하기 위해, 연구팀은 HALC 파이프라인을 완전히 다른 두 가지 유형의 데이터에 적용했습니다. 첫 번째는 영어, 독일어, 스페인어로 작성된 5개국의 방대한 정치 정당 강령 모음이었습니다. 과제는 어떤 문장이 이민을 논하고 있는지, 그리고 그것이 국경 통제에 집중하고 있는지 아니면 이미 거주 중인 사람들의 통합에 집중하고 있는지를 식별하는 것이었습니다. 두 번째 데이터셋은 30개 주요 독일 기업의 연례 보고서로 구성되었으며, 목표는 글의 어조가 긍정적인지, 부정적인지, 혹은 중립적인지를 결정하는 것이었습니다. 두 경우 모두 연구진은 영어로 된 지침을 사용하여 컴퓨터를 사용했는데, 이는 각 언어마다 별도의 프롬프리가 필요 없이 다양한 언어를 이해하는 모델의 능력을 활용한 것입니다. 결과는 고무적이었습니다. 정치 텍스트의 경우, 컴퓨터는 원래의 인간 코더와 매우 유사한 신뢰도 점수를 달성하며 서로 다른 언어와 정치적 맥락을 성공적으로 탐색했습니다. 기업 보고서의 경우, 복잡한 추론을 위해 설계된 특정 유형의 모델을 사용할 때 컴퓨터는 훨씬 더 나은 성능을 보였으며, 이는 파이프라인이 다양한 유형의 작업에 적응할 수 있음을 보여주었습니다.

연구는 대규모 언어 모델이 강력하기는 하지만, 단순히 작업을 맡겨 놓는다고 해서 완벽하게 수행할 것으로 기대할 수는 없다는 결론을 내립니다. 모델들은 신뢰할 수 있는 출력을 보장하기 위해 구조적이고 체계적인 접근 방식을 필요로 합니다. HALC 파이프라인은 인간의 전문 지식과 기계의 속도 사이의 간극을 메우는 방법을 제공합니다. 연구의 근거를 확립된 인간의 규칙에 두고 배포 전 엄격하게 테스트함으로써, 연구자들은 발견의 타당성을 희생하지 않고도 업무를 자동화할 수 있습니다. 저자들은 이 방법이 자동화된 코딩 과정을 투명하고 재현 가능하게 만들어, 다른 과학자들이 지침이 어떻게 구축되고 검증되었는지 정확히 볼 수 있게 한다고 제안합니다. 컴퓨터 모델은 계속 진화하겠지만, 핵심 원칙은 동일합니다. 신뢰할 수 있는 자동화는 인간의 설계와 기계의 실행 사이의 신중한 파트너십으로부터 나오며, 이를 통해 최종 데이터가 마치 팀의 인간 전문가들에 의해 분류된 것만큼 견고하도록 보장하는 것입니다.