Contextualized Prompting For Stance Detection On Social Media

기술 요약: 소셜 미디어 입장의 탐지를 위한 맥락화된 프롬프팅 (Contextualized Prompting For Stance Detection On Social Media)

문제 정의
소셜 미디어, 특히 트위터에서의 입장 탐지(Stance detection)는 사용자 생성 콘텐츠의 짧고, 노이즈가 많으며, 매우 맥락 의존적인 특성 때문에 본질적으로 까다롭습니다. 거대 언어 모델(LLM)은 강력한 제로샷(zero-shot) 및 퓨샷(few-shot) 일반화 능력을 보여주었지만, 표준적인 프롬프팅 설정은 일반적으로 트윗을 개별적으로 분류합니다. 이러한 접근 방식은 단일 포스트가 특정 대상(예: 인물, 조직, 주제)에 대한 저자의 관점을 결정하기에 충분한 정보를 갖추지 못한 모호한 표현을 해결하는 데 실패하는 경우가 많습니다. 비록 기존의 지도 학습 연구에서는 메타데이터(사용자 프로필 및 과거 트윗 등)를 통합하는 것이 성능을 향상시킨다고 제안하지만, 프롬프트 설계에 매우 민밀하고 관련 있는 맥락과 관련 없는 맥락을 구분하는 데 어려움을 겪을 수 있는 제로샷 및 퓨샷 프롬프팅 시나리오에서도 이러한 이점이 그대로 전이되는지는 여전히 불분명합니다.

방법론
저자들은 제로샷 및 퓨샷 프롬프팅을 위한 다양한 맥락적 특징(contextual features)을 통합하는 것이 입장의 탐지에 미치는 영향을 체계적으로 조사합니다. 본 연구는 네 가지 추론 기반 명령 튜닝 LLM(GPT-OSS-20B, Qwen2.5-32B, Gemma3-27B, Ministral3-14B)을 사용하여 네 가지 벤치마크 데이터셋(semeval2016t6, covid19-glandt, wtwt(인수 합병), 그리고 새롭게 도입된 고품질 독일어 데이터셋 covid19-de)을 대상으로 실험을 수행합니다.

본 연구는 세 가지 범주의 맥락적 특징을 평가합니다:

1. 실제 메타데이터: Twitter API를 통해 검색된 사용자 이름(Usernames), 사용자 프로필(User Biographies), 기타 트윗(Sentence-BERT 코사인 유사도를 통해 선택된 동일 사용자의 가장 유사한 트윗 10개).
2. 파생 메타데이터: 저자 분류(예: 시민, 정치인, 과학자) 및 프로필에서 도출된 세밀한 저자 그룹.
3. LLM 생성 맥락: GPT-4를 사용하여 생성된 합성 데이터, 구체적으로 대상 설명(Target Descriptions, 대상 엔티티에 대한 짧은 설명) 및 트윗 특정 맥락(Tweet-Specific Context, 특정 트윗 내에서의 대상을 설명하는 내용).

실험 설정은 이러한 특징들로 증강된 프롬프트와 표준 제로샷 및 퓨샷 베이스라인을 비교합니다. 또한 저자들은 사고 사슬(Chain-of-Thought, CoT) 프롬프팅과 모델이 자신의 초기 예측을 재평가하는 "LLM-as-a-Judge" 접근 방식을 평가합니다. 성능은 세 번의 무작위 시드에 대해 평균을 낸 매크로 평균 F1 점수를 사용하여 측정됩니다.

주요 기여

1. 맥락의 체계적 평가: 본 논문은 이전 연구에서 사용된 정적 지식 베이스를 넘어, 다양한 유형의 맥락(실제, 파생, 생성된 맥락)이 LLM의 입장 탐지 성능에 어떻게 영향을 미치는지에 대한 포괄적인 분석을 제공합니다.
2. 새로운 데이터셋: 저자들은 코로나19 팬데믹 기간 동안의 정부 조치에 초점을 맞춘 고품질 독일어 트위터 입장 탐지 데이터셋(covid19-de, n=3,750)을 공개하며, 이는 상당한 일치도(Krippendorff $\alpha > 0.67$)로 주석이 달렸습니다.
3. 맥락 유용성에 대한 경험적 발견: 본 연구는 더 많은 맥락이 항상 더 낫다는 가설에 이의를 제기합니다. LLM 생성 대상 설명은 성능을 일관되게 향상시키는 반면, 다른 맥락적 특징들(사용자 프로필이나 기타 트윗 등)은 혼재된 결과나 심지어 해로운 결과를 초래한다는 것을 입증했습니다.
4. 실패 모드에 대한 질적 분석: 저자들은 LLM이 정보가 있는 맥락과 관련 없는 맥락을 구분하는 데 어려움을 겪는다는 점을 확인했습니다. 구체적으로 "기타 트윗"이나 "트윗 특정 맥락"을 추가하는 것은 특히 중립적인 경우에도 모델을 비중립적인 입장(찬성/반대)으로 편향시켜 잘못된 예측을 유도하는 경우가 많았습니다.

결과

• 대상 설명: LLM 생성 대상 설명은 가장 견고한 특징이었으며, 거의 모든 데이터셋과 모델에서 일관되게 정확도를 향상시켰습니다(예: semeval2016t6 제로샷에서 +5.10pp). 이는 명시적인 대상 정보가 짧은 텍스트 내의 암시적 참조를 해결하는 데 도움이 됨을 시사합니다.
• 기타 트윗: 지도 학습에서의 결과와는 반대로, 동일 사용자의 다른 트윗을 제공하는 것은 일반적으로 성능을 저하시키거나 유의미한 이득을 보여주지 못했습니다. 입력 길이의 증가는 모델을 산만하게 만드는 것으로 보였으며, 추가된 맥락은 종종 의견이 담긴 입장으로의 편향을 유도하여 중립적인 사례에 대한 성능을 떨어뜨렸습니다.
• 트윗 특정 맥락: 놀랍게게도, LLM 생성 트윗 특정 맥락은 모든 설정에서 부정적인 효과를 보였습니다. 이는 모델이 생성된 맥락 속의 입장 표출 단어를 실제 트윗 내용과 충돌하게끔 포함했기 때문인 것으로 보입니다.
• 베이스라인: CoT 프롬프팅은 추가적인 맥락이 없는 짧은 텍스트 작업에서 일반적으로 표준 제로샷 베이스라인보다 낮은 성능을 보였습니다. "LLM-as-a-Judge" 접근 방식은 불균형한 covid19-de 데이터셋에서 예측을 다수 클래스인 중립으로 수정하는 데 강점을 보이며 경쟁력 있는 모습을 보였습니다.
• 저자 메타데이터: 반자동 저자 분류(예: 정치인 vs 시민)는 '맥락 없음' 베이스라인보다 유의미하게 우수하지 않았으며, 이는 이러한 메타데이터가 제로샷/퓨샷 LLM의 이득으로 이어지지 않음을 시사합니다.

의의 및 주장
본 논문은 맥락적 정보를 통합하는 것이 노이즈가 많은 실제 환경에서의 입장 탐지를 개선할 가능성을 가지고 있지만, 그 이점은 매우 조건적이라고 주장합니다. 주요 의의는 현재 프롬프팅 전략의 한계를 강조하는 데 있습니다. 즉, LLM은 관련 없거나 상충하는 맥락을 효과적으로 필터링할 수 있는 강건함이 부족합니다. 저자들은 단순히 프롬프트에 더 많은 데이터를 추가하는 것만으로는 불충분하며, 미래 연구는 특히 관련성이 객관적으로 정의되지 않는 주관적인 과업에서 유용한 맥락과 노이즈가 섞인 맥락을 구별하는 방법을 개발하는 데 집중해야 한다고 주장합니다. 이 연구는 맥락적 주관성에 관한 연구 범위를 입장 탐지로 확장하며, "더 많은 맥락이 더 낫다"는 휴리스틱이 LLM 프롬프팅에 보편적으로 적용되지 않음을 보여줍니다.