기술 요약: 논란 다루기: 역할 수행에 기반한 감정 및 대처 전략 코퍼스

문제 정의

심리학 연구와 계산적 연구 사이에는 감정에 관한 상당한 불일치가 존재한다. 심리학 연구가 감정 현상의 내부 메커니즘을 설명하는 것을 목표로 하는 반면, 자연어 처리(NLP) 분야의 계산적 연구는 종종 감정을 밸런스(valence), 각성(arousal), 지배성(dominance)과 같은 차원으로 정의된 이산적인 레이블이나 벡터로 단순화한다. 결과적으로, 감정이 어떻게 발달하고 개인이 이에 어떻게 대처하는지에 대한 근본적인 측면은 NLP에서 여전히 충분히 탐구되지 않고 있다. 구체적으로, 감정의 발생을 지배하는 복잡한 메커니즘과 그 이후의 행동에 미치는 영향—심리학에서 "대처 과정(coping processes)"으로 개념화되는 것—은 거의 다뤄지지 않는다. 현재의 모델들은 감정을 유발하는 사건에 대응하여 사람들이 사용하는 행동 전략(예: 공격, 접촉, 거리 두기, 또는 자극 거부)과 감정 사이의 연결 고리를 포착하는 데 어려움을 겪고 있다.

방법론

이러한 격차를 해소하기 위해, 저자들은 역할 수행(role-playing) 방법론을 통해 구축된, 대처 정보에 초점을 맞춘 최초의 코퍼스인 COPING을 소개한다. 본 연구는 16가지 특정 감정을 4가지 일반적 대처 전략인 공격(Attack), 접촉(Contact), 거리 두기(Distance), **거부(Reject)**로 매핑하는 Roseman(2013)의 이론에 근거한다.

데이터 생성

대처 전략이 주석 처리된 자연 발생적 텍스트를 찾는 것의 어려움을 고려하여, 저자들은 크라우드소싱 기반의 역할 수행 방식을 채택했다:

1. 캐릭터 정의: 네 명의 허구적 캐릭터(X)를 정의하였으며, 각 캐릭터는 네 가지 대처 전략 중 하나를 구현한다. 이 정의는 주석 작업자가 의도된 전략을 올바르게 식별할 수 있도록 반복적인 사전 테스트 과정을 통해 정교화되었다.
2. 시나리오 생성: ChatGPT-4를 사용하여 다섯 가지 사회적 관련 주제(낙태, 이민, 인종차식, LGBTQ+ 권리, 마약)에 걸친 논쟁적인 시나리오를 생성하였다. 각 시나리오에서 허구의 대화 상대(Y)는 캐릭터 X의 정체성을 위협하는 논쟁적인 발언을 한다.
3. 역할 수행 과업: 크라우드 워커들은 캐릭터 X를 연기하도록 할당되었다. 이들은 다음 사항을 수행해야 했다:
   • Y의 발언에 반대하는 언어적 답변 생성.
   • X의 비언어적 행동 묘사.
   • Roseman의 분류 체계에 기반한 X의 정서적 반응 평가.
   • 자신이 X와 유사하게 반응할 것인지에 대한 자기 성찰.
4. 인구통계학적 타겟팅: 더 강력하고 진정성 있는 대처 표현을 이끌어내기 위해, 주제와 관련된 특정 인구통계학적 특성을 가진 참가자들을 선정하였다 (예: LGBTQ+ 시나리오의 경우 LGBTQ+ 개인).

결과물인 COPING 코퍼스는 전략, 주제, 시나리오 전반에 걸쳐 균형 잡힌 1,200개의 데이터 포인트를 포함한다. 각 항목에는 생성된 텍스트, 행동 묘사, 그리고 정서적 평가가 포함되어 있다.

실험 설정

본 논문은 두 가지 주요 연구 질문(RQ)을 조사한다:

• RQ1: 대처 전략이 언어로 이끌어질 수 있으며 주석 처리가 가능한가?
• RQ2: 대처 전략을 자동으로 식별할 수 있는가?

RQ2를 해결하기 위해, 저자들은 다음을 사용하여 자동 탐지의 타당성을 평가하였다:

• 지도 학습(Supervised Learning): 코퍼스를 활용하여 세 가지 소규모 언어 모델(SLM)—BERT, DistilBERT, RoBERTa—을 미세 조정(fine-tuning)함.
• 제로샷 프롬프팅(Zero-Shot Prompting): 네 가지 대규모 언어 모델(LLM)—phi-2, mistral-2, nous-hermes-2, dolphin-2—을 제로샷 설정에서 활용함.
• 입력 변형: 모델들은 세 가지 입력 유형에 대해 테스트되었다: 언어적 답변만 있는 경우, 행동 묘사만 있는 경우, 그리고 두 가지를 결합한 경우.

주요 기여

1. 이론적 통합: 본 논문은 표준적인 감정 레이블의 기저에 있는 네 가지 대처 범주(공격, 접로, 거리 두기, 거부)를 연구하여, 이를 Roseman(2013)이 정의한 특정 행동 기능 및 감정 그룹과 연결하는 첫 단계를 밟는다.
2. COPING 코퍼스: 새로운 역할 수행 전략을 통해 구축된 고도로 구조화된 코퍼스를 공개한다. 이는 감정 중심 정보를 수집하기 위한 새로운 방식이다. 이는 대처 메커니즘이 주석 처리된 데이터의 부족 문제를 해결한다.
3. 과업 벤치마킹: 대처 전략 식별 과업을 도입하고 벤치마킹한다. 본 연구는 텍스트에서 이러한 전략을 탐지하는 것이 가능한지에 대한 첫 번째 경험적 증거를 제공한다.

결과

인간 주석 및 이해

• 전략 이끌어내기: 양적 및 질적 분석을 통해 대처 전략이 언어로 이끌어질 수 있음을 확인하였다. 크라우드 워커들은 캐릭터 묘사를 올바른 전략으로 매핑하는 데 높은 정확도를 보이며 견고한 이해력을 입증하였다 (예: 사전 테스트에서 Attack과 Contact의 정확도 100%).
• 정서적 일치: 역할 수행자들이 생성한 정서적 프로필은 Roseman의 이론적 프레임워크와 대체로 일치하였다 (예: 좌절감은 Attack과 상관관계가 있고, 희망은 Contact과 상관관계가 있음). 그러나 "Reject"를 다른 전략과 구별하는 데 어려움이 있는 것과 같은 일부 편차도 관찰되었다.
• 주관성: 생성된 텍스트에 대한 주석자 간 일치도는 낮게 나타났다 ($\kappa = .34$). 이는 텍스트 내에서의 대처 전략 인지가 매우 주관적임을 나타낸다. "Contact"가 가장 잘 인식되는 전략이었던 반면, "Reject"는 가장 인식하기 어려웠다.

자동 분류

• 성능 한계: 대처 전략의 자동 식별은 까다로운 것으로 드러났다. 미세 조정된 SLM과 제로샷 LLM 모두 F1 점수가 0.55 미만을 기록했다.
• 입력 민감도:
  • DistilBERT는 언어적 답변에서 가장 좋은 성능을 보였다 (F1 = 0.523).
  • RoBERTa는 행동 묘사에서 가장 좋은 성능을 보였다 (F1 = 0.537).
  • 답변과 행동을 결합하는 것이 단일 입력보다 일관되게 성능을 향상시키지는 못했다.
  • 제로샷 LLM은 미세 조정된 모델과 대등한 성능을 보였으며, 행동 기반 입력이 답변 전용 입력보다 일반적으로 더 나은 결과를 냈다.
• 전략별 난이도: 인간 주석 결과와 일치하게, Contact가 분류하기 가장 쉬운 전략이었으며 (F1 $\approx$ 0.64), Reject가 가장 어려운 전략으로 남았다 (F1 $\approx$ 0.41).

의의 및 주장

저자들은 본 연구가 텍스트로부터 감정 메커니즘을 포착하는 모델의 능력을 향상시키는 유망한 연구 방향을 연다고 주장한다. 정적인 감정 레이블에서 동적인 대처 전략으로 초점을 전환함으로써, 본 연구는 감정-행동 상호작용에 관한 심리학 이론과 계산적 NLP 사이의 간극을 메운다.

본 논문은 비록 "거리 두기"나 "거부"와 같이 이탈(disengagement)을 포함하는 전략의 경우 처음에 가설로 세웠던 것만큼 텍{text}에서 대처의 출현이 명확하지는 않았지만, 코퍼스와 관찰된 전략-감정 간의 연결 고리는 이러한 접근 방식의 잠재력을 입증한다고 겸허히 결론짓는다. 저자들은 자신들의 설정이 비록 인위적일지라도, 이러한 심리학적 개념에 대한 데이터를 크라우드소싱을 통해 얻을 수 있음을 성공적으로 입증했으며, 자동 탐지는 여전히 큰 과제일지라도 이러한 전략들이 텍스트에 이론적으로 근거하고 있음을 보여주었다고 강조한다. 이 연구는 대처 전략을 통합하는 것이 논증 분석 및 사건 중심의 감정 분석과 같은 다운스트림 과업을 개선할 수 있음을 시사한다.