기술적 요약: 대규모 언어 모델을 활용한 텍스트 주석에 대한 프롬프트 안정성 점수

1. 문제 제기

연구자들은 대규모 언어 모델 (LM) 을 텍스트 주석에 점점 더 많이 활용하고 있으며, 종종 모델을 데이터 분류를 지시하는 "프롬프트"로 사용하는 제로샷 (zero-shot) 또는 퓨샷 (few-shot) 방식을 채택합니다. 이러한 방법들은 확장성을 제공하지만, 중요한 신뢰성 격차를 도입합니다. 즉, LM 의 출력은 프롬프트 문장의 미세한 의미적 동등 변형이나 확률적 디코딩 매개변수에 민감한 경우가 많습니다.

현재 문헌에는 이러한 파이프라인을 위한 일상적이고 자동화된 신뢰성 검사가 부족합니다. 높은 정확도를 보이는 단일 프롬프트가 약간 다르게 재구성된 프롬프트가 동일한 라벨을 생성할 것이라는 보장은 아닙니다. 출력이 의미적으로 유사한 프롬프트나 반복 실행에서 변한다면, 분류 파이프라인은 "취약"한 것이며, 이는 재현성을 훼손하고 하위 추정치를 신뢰할 수 없게 만듭니다. 저자들은 안정성이 정확성과 재현성을 위한 필수 전제 조건이라고 주장합니다. 미세한 교란 하에서 불안정한 파이프라인은 수동 코딩과 같은 비용이 많이 드는 검증 단계로 진행해서는 안 됩니다.

2. 방법론

본 논문은 통제된 교란 하에서 주석 파이프라인의 합의를 정량화하는 자동화된 진단 프레임워크인 **프롬프트 안정성 점수 (Prompt Stability Score, PSS)**를 소개합니다. 이 프레임워크는 반복된 모델 실행과 의미적으로 동등한 프롬프트 변형을 인간 평가자 간 및 평가자 내 신뢰성 연구에서의 인간 평가자와 유사한 것으로 간주합니다.

핵심 구성 요소

• 프롬프트 내 안정성 (Intra-PSS): 동일한 프롬프트가 동일한 항목에 대해 반복적으로 실행될 때 모델의 일관성을 측정합니다. 이는 디코딩 확률성 (예: 온도 샘플링) 과 비결정적 하드웨어 실행으로 인한 실행 간 변이성을 포착합니다.
• 프롬프트 간 안정성 (Inter-PSS): 의미적으로 동등한 프롬프트 변형이 사용될 때 모델의 일관성을 측정합니다. 이 프레임워크는 다양한 디코딩 온도에서 외부 문장 재구성 모델 (PEGASUS) 을 사용하여 이러한 변형을 생성합니다. 낮은 온도는 보수적인 재구성을 생성하는 반면, 더 높은 온도는 파이프라인이 무너지는 지점을 드러내는 스트레스 테스트 역할을 합니다.

통계적 운영화

• 지표: 저자들은 주요 합의 통계량으로 **크립펜도르프의 알파 ($K\alpha$)**를 사용합니다. 이 선택은 명목, 서열, 간격 데이터를 처리하고 우연한 합의를 보정할 수 있게 합니다.
• 불확실성 추정: 안정성 추정에 대한 신뢰 구간을 생성하기 위해 비모수 부트스트래핑이 사용됩니다.
• 구현: 저자들은 프롬프트 변형 생성, 반복 실행 수행, 그리고 안정성 점수 계산을 자동화하는 오픈 소스 Python 패키지인 promptstability를 제공합니다.

실험 설계

이 프레임워크는 6 개의 데이터셋과 12 개의 서로 다른 결과를 통해 검증되었으며, 약 310 만 개의 주석(약 3 억 개의 입력 토큰) 이 생성되었습니다. 데이터셋은 다양한 사회과학 맥락 (예: 미국 상원 의원의 트윗, 영국 정당 강령, 뉴욕 타임스 기사, 설문 응답) 을 포괄하며 다음과 같이 다양합니다:

1. 결과 복잡성: 이진 대 다중 클래스 대 연속 척도; 세분화된 대 대범주.
2. 데이터 복잡성: 정보 풍부 대 정보 빈약 입력 (예: 짧은 텍스트 대 긴 텍스트).
3. 모델 능력: 서로 다른 LM 간 비교 (예: GPT-3.5, GPT-4o, DeepSeek-R1).

3. 주요 결과

실증 분석은 불안정성을 네 가지 주요 원인 (기준 모호성, 결과 복잡성, 데이터 복잡성, 모델 능력) 에 매핑합니다.

• 일반적 안정성 패턴: 대부분의 벤치마크 작업은 고정된 프롬프트 하에서 높은 프롬프트 내 안정성 (Intra-PSS, 재현성) 을 보이며, 빠르게 높은 합의 수준으로 수렴합니다. 그러나 프롬프트 간 안정성 (Inter-PSS) 은 더 변동적입니다. 프롬프트 재구성이 더 다양해질수록 안정성은 종종 감소합니다.
• 기준 모호성: 여러 작업 (예: 입장 감지, "가장 중요한 이슈" 분류) 은 낮은 재구성기 온도에서도 프롬프트 간 안정성이 급격히 떨어지는 것을 보여주었습니다. 이는 코딩 기준이 문장 미세 변화에 취약함을 나타내며, 모호한 프롬프트 설계나 poorly 정의된 구성 요소를 시사합니다.
• 데이터 및 결과 복잡성:
  • 데이터 복잡성: 낮은 신호 대 잡음비 (예: 제한된 프로필 데이터로부터 유권자 선택 예측) 를 가진 작업은 고정된 프롬프트로도 안정성이 낮았습니다.
  • 결과 복잡성: 레이블 세트를 더 세분화되고 중첩된 범주로 확장 (예: 6 개 이슈 범주 대비 12 개) 하는 것은 입력 데이터가 일정하게 유지되더라도 안정성을 감소시켰습니다.
• 모델 능력: GPT-4o 와 DeepSeek-R1:8b 간의 비교는 모델 선택이 안정성에 상당한 영향을 미친다는 것을 드러냈습니다. 더 작은 모델은 더 낮은 프롬프트 내 안정성과 더 빠른 프롬프트 간 안정성 감소를 보였으며, 이는 불안정성이 프롬프트 설계뿐만 아니라 모델 한계에서도 비롯될 수 있음을 입증했습니다.
• 진단 유용성: 저자들은 올바른 출력 형식 (예: 잘못된 정수 제거) 으로 필터링하는 것이 포맷 오류와 진정한 분류 불안정성을 구별할 수 있음을 입증했습니다. 일부 데이터셋 (예: "가장 중요한 이슈") 의 경우 필터링이 불안정성을 해결했지만, 다른 데이터셋 (예: "Synthetic Short") 의 경우 그렇지 않아 근본적인 작업 어려움을 나타냈습니다.
• 비용 실현 가능성: 저자들은 일반적인 샘플 크기에 대해 이러한 안정성 진단을 실행하는 비용이 (GPT-3.5 사용 시) 3 달러에서 150 달러 사이로 추정된다고 밝혔으며, 이는 이 접근 방식이 금지적인 검증 단계가 아닌 실현 가능한 초기 단계 진단임을 시사합니다.

4. 주요 기여

1. 개념적 프레임워크: 본 논문은 평가자 간 및 평가자 내 신뢰성의 렌즈를 통해 LM 주석 신뢰성을 재구성하여, "프롬프트 안정성"을 재현성에 필요한 고유하고 측정 가능한 속성으로 정의합니다.
2. 자동화된 진단 도구: **프롬프트 안정성 점수 (PSS)**와 이를 보완하는 promptstability 패키지의 도입은 연구자들에게 지상 진실 (ground-truth) 검증에 투자하기 전에 주석 파이프라인을 스트레스 테스트할 수 있는 표준화된 자동화 방법을 제공합니다.
3. 실증적 특성화: 12 개의 결과와 6 개의 데이터셋을 통해 테스트함으로써, 본 논문은 프롬프트 기반 파이프라인이 언제 안정적이고 언제 취약한지에 대한 대규모 특성화를 제공하며, 데이터 신호, 레이블 세분화, 모델 선택과 관련된 특정 실패 모드를 식별합니다.
4. 실용적 플레이북: 저자들은 결과를 해석하기 위한 "PSS 플레이북"을 제공하여, 안정성 점수에 기반하여 언제 프롬프트를 수정하고, 구성 정의를 명확히 하며, 모델을 전환하거나 디코딩 설정을 조정해야 하는지에 대해 연구자들에게 조언합니다.

5. 중요성과 주장

본 논문은 단일 프롬프트에서 얻은 높은 정확도만으로는 재현성을 보장하기에 부족하다고 주장합니다. 주석 파이프라인이 미세한 교란 (재구성 또는 반복 실행) 에 취약하다면, 모델의 평균 성능과 관계없이 모든 하위 추정치는 이러한 취약성을 물려받게 됩니다.

저자들은 PSS 를 진실이나 정확도의 척도가 아닌 타당성을 위한 전제 조건으로 위치시킵니다. 그들은 연구자들이 안정성 진단을 연구 워크플로우의 필수적인 초기 단계로 취급해야 한다고 주장합니다. 낮은 PSS 는 비용이 많이 드는 검증 절차에 자원을 투입하기 전에 프롬프트 문구, 구성 정의, 데이터 품질, 또는 모델 선택을 재검토해야 한다는 경고 신호로 작용합니다. 본 논문은 안정성이 정확성을 보장하지는 않지만, 재현 가능한 LM 기반 사회과학 연구가 구축되어야 하는 필수적인 기초라고 결론지었습니다.