💬 NLP

Strategic Dialogue Assessment: The Crooked Path to Innocence

이 논문은 적대적 환경에서의 전략적 언어 사용을 체계적으로 평가하기 위한 전략적 대화 평가(SDA) 프레임워크와 굽은 길 데이터셋(CPD)을 소개하며, 더 큰 언어 모델들이 어느 정도의 개선을 보여주기는 하지만 그들의 추론 능력이 종종 과도한 복잡성과 혼란을 야기함으로써 성능을 저해한다는 점을 밝힌다.

원저자: Anshun Asher Zheng, Junyi Jessy Li, David I. Beaver

게시일 2026-01-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anshun Asher Zheng, Junyi Jessy Li, David I. Beaver

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 이것은 팀 스포츠가 아닙니다

대화를 하나의 게임이라고 상상해 보세요. 대부분의 대화(예: 커피숍에서 친구와 나누는 수다)에서 모두는 같은 팀입니다. 서로 정보를 공유하고 이해하려고 노력하죠. 과학자들은 이를 "협력적(cooperative)"이라고 부릅니다.

하지만 법정에서의 반대 심문은 게임이 다릅니다. 변호사와 증인은 서로 반대 팀에 있습니다. 변호사는 증인을 함정에 빠뜨리려 하고, 증인은 들키지 않으려 합니다. 그들은 서로를 돕는 것이 아니라, 이기려고 노력합니다. 이것이 바로 **비협력적(non-cooperative)**인 상황입니다.

이 논문은 현재 우리가 사용하는 대부분의 AI(챗봇 등)가 '좋은 친구'가 되도록 훈련되어 있다고 주장합니다. AI는 모든 사람이 도움이 되고 정직하려고 노력한다고 가정합니다. 이 때문에 AI는 법정에서 사람들이 '강하게 몰아붙이는(hardball)' 상황을 마주하면 혼란에 빠집니다. AI는 교묘하고 회피적인 답변을 단순한 실수라고 생각하기 쉽지만, 실제로는 그 교묘한 답변이 자신을 보호하기 위한 아주 영리한 전략적 움직임일 수 있기 때문입니다.

문제점: AI는 '분위기'를 잘못 읽습니다

저자들은 승무원이 안전 보고서를 조작했느냐는 질문을 받았을 때, "아니요"라고 말하는 대신 "제가 알기로는, 한 동료가 보고서를 수정했던 적이 있습니다"라고 답하는 사례를 보여줍니다.

AI의 관점: "이상하다! 직접적으로 대답하지 않았어. 회피하고 있네. 이건 그녀에게 불리해."
사람의 관점: "영리하게 행동하고 있네. 노골적인 거짓말을 하지 않으면서도 질문을 교묘히 피하고 있어. 자신을 보호하고 있는 거야."

AI는 실패합니다. 왜냐하면 AI는 '예의 규칙'(직접적으로 대답하기 등)을 찾고 있지만, 싸움터에서는 때로 피하는 것이 최선의 수이기 때문입니다.

해결책: SDA (전략적 점수판)

이를 해결하기 위해 저자들은 **SDA(Strategic Dialogue Assessment, 전략적 대화 평가)**라는 새로운 도구를 만들었습니다. SDA를 토론이나 법정을 위한 특수 점수판이라고 생각하세요. 단순히 "질문에 답했는가?"를 묻는 대신, **"이 움직임이 화자가 이기거나 지는 데 도움이 되었는가?"**를 묻습니다.

이 점수판을 만들기 위해 저자들은 두 가지 기존 개념을 결합했습니다:

"배심원" 개념: 대화를 지켜보는 침묵하는 배심원을 상상해 보세요. 그들은 게임의 규칙에 따라 어떤 움직임이 좋았는지 혹은 나빴는지를 결정합니다.
"예의" 규칙: 저자들은 언어의 규칙(Gricean maxims)을 단순히 사람들이 친절한지를 판단하기 위해서가 아니라, 그들이 얼마나 *신뢰할 만한지(credible)*를 판단하기 위해 사용했습니다. 누군가 명확하고 관련성 있게 말한다면 신뢰할 수 있어 보입니다. 반대로 모호하거나 혼란스럽다면 의심스러워 보입니다.

점수판의 작동 방식

저자들은 증인이 하는 모든 문장을 세 부분으로 나누어 점수를 계산했습니다:

약속/구속력 (무엇을 약속했는가?):
- 유익함(Beneficial): "나는 하지 않았다." (증인에게 도움이 됨).
- 해로움(Detrimental): "아마도 했을지도 모른다." (증인에게 해가 됨).
- 중립(Neutral): 도움도 되지 해가 되지도 않는 사실을 진술함.
- 없음(None): 질문을 완전히 무시함.
전달 방식 (어떻게 말했는가?):
- 명확한 화법의 규칙을 따랐는가? 만약 모호하거나 주제를 피한다면, '신뢰도 점수'가 떨어져 답변의 효과가 낮아집니다.
일관성 (자기 모순을 일으켰는가?):
- 만약 이전에 "집에 있었다"라고 했다가 지금 "공원에 있었다"라고 한다면, 큰 점수를 잃게 됩니다.

이것들을 매 차례 합산함으로써, SDA는 NRBaT라는 실행 중인 점수를 생성합니다. 이 점수는 특정 순간에 화자가 전략적 전투에서 이기고 있는지 혹은 지고 있는지를 알려줍니다.

데이터셋: "굽은 길 (The Crooked Path)"

이를 테스트하기 위해 저자들은 **CPD (The Crooked Path Dataset)**라는 데이터셋을 구축했습니다. 그들은 유명한 재판(O.J. 심슨 재판, 엔론 재판 등)의 실제 녹취록을 가져왔습니다. 그리고 인간 전문가들이 이 녹취록을 읽고 모든 문장에 대해 "이것이 증인에게 좋은 수였는가, 나쁜 수였는가?"를 라벨링하게 했습니다.

AI에 대해 발견한 점

저자들은 많은 다양한 AI 모델(소형부터 거대 '추론형' 모델까지)을 테스트하여, 이들이 인간 전문가처럼 행동할 수 있는지 확인했습니다.

규모가 중요함: 더 큰 AI 모델이 작은 모델보다 조금 더 잘 수행했습니다. 큰 모델들이 대화의 '분위기'를 더 잘 포착했습니다.
추론이 오히려 독이 될 수 있음: 놀랍게도, "단계별로 생각하라(step-by-step)"는 지시를 받은 AI 모델들(풀이 과정을 보여주는 학생처럼)은 종종 더 낮은 성능을 보였습니다.
- 이유는? 이 모델들이 까다로운 법정의 움직임을 '추론'하려고 할 때 혼란을 겪었기 때문입니다. 모델들은 "오, 상대가 말을 얼버무리고 있네, 그럼 이게 좋은 걸까? 아니면 나쁜 걸까?"라며 과하게 분석했습니다. 결국 스스로를 의심하며 단순한 전략적 진실을 놓치고, 자신의 논리에 갇혀버린 것입니다.
격차: 가장 뛰어난 AI조차도 법정에서는 '협력적인 것'(직접 대답하는 것)이 항상 목표가 아닐 수 있다는 점을 이해하는 데 여전히 어려움을 겪습니다.

시사점

이 논문은 우리가 실제 재판을 판단하거나 변호사를 대체하기 위해 AI를 사용해야 한다고 말하는 것이 아닙니다. 대신 이렇게 말합니다: "우리는 AI가 인간의 전략을 얼마나 잘 이해하는지 측정하는 새로운 방법이 필요하다."

현재 AI는 유능한 비서가 되는 데는 뛰어나지만, 전략적인 플레이어가 되는 데는 서툽니다. 만약 우리가 AI가 협상, 토론, 또는 이해관계가 걸린 고도의 상황을 이해하기를 원한다면, 때로는 아무 말도 하지 않는 것이 가장 '정직한' 수이며, 협력적인 것처럼 보이면서도 실상은 그렇지 않은 방식으로 말하는 것이 가장 '전략적인' 수라는 것을 가르쳐야 합니다.

저자들은 AI가 단순히 '친절함의 게임'이 아니라 '전략의 게임'을 하는 법을 배울 수 있도록, "점수판"(SDA)과 "연습장"(데이터셋)을 제공하였습니다.

기술 요약: 전략적 대화 평가 (Strategic Dialogue Assessment, SDA)

문제 정의
현재의 화용론 및 거대 언어 모델(LLM) 평가 연구는 대화 참여자들이 공통된 목표를 공유한다는 그라이스(Grice)의 원칙에 기반한 협력적 담화에 주로 의존하고 있습니다. 그러나 이러한 가정은 대화 참여자들의 목표가 서로 상충하는 고위험, 적대적 환경(예: 법정에서의 반대 심문)에서는 유효하지 않습니다. 이러한 비협력적 맥락에서 화자는 자신의 이익을 위해 언어를 전략적으로 조작하며, 종종 자기 이익을 추사하면서도 겉으로는 협력적인 것처럼 보이기도 합니다. 기존의 프레임워크(예: 신호 게임(Signaling Games) 및 합리적 언어 행위(RSA) 이론)는 경험적으로 추정하기 어려운 추상적 구성 요소(예: 신뢰도 분포)나 협력적 효용 함수에 의존하는 경우가 많습니다. 또한, 현재의 LLM은 적대적 환경에서 언어의 전략적 가치를 인식하는 능력이 제한적입니다. 즉, 회피나 완곡한 표현을 전략적으로 유익한 것이 아닌 해로운 것으로 오해하거나, 표면적인 손상 통제와 실제 전략적 이득을 구분하지 못하는 경향이 있습니다.

방법론
이러한 격차를 해소하기 위해 저자들은 실제 데이터에서 전략적 언어 사용을 평가하기 위해 메시지 교환(Message Exchange, ME) 게임의 '배심원 기능(jury function)'을 구체화한 전략적 대화 평가(SDA) 프레임워크를 도입합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

크루키드 패스 데이터셋 (Crooked Path Dataset, CPD): 세 건의 유명한 미국 재판(웨스트 멤피스 쓰리, O.J. 심슨, 엔론 사건)의 반대 심문에서 추출한 4,452개의 발화 턴으로 구성된 새로운 주석 데이터셋입니다. 이 데이터셋은 목표가 엄격히 대립하는 적대적 상호작 작용에 초점을 맞춥니다.
이론적 적응: 저자들은 ME 게임의 배심원 기능을 두 가지 핵심 수정을 통해 경험적으로 추정 가능하도록 적응시켰습니다:
- 약속 기반 분류 체계 (Commitment-Based Taxonomy): 추상적인 결속 관계에만 의존하는 대신, 현재 논의 중인 질문(Question Under Discussion, QUD)과 관련된 약속의 내용을 바탕으로 담화 동작을 분류합니다. 약속은 유익함(Beneficial), 해로움(Detrimental), 중립(Neutral), 또는 **없음(None, 의미 있는 약속이 결여됨)**으로 분류됩니다.
- 신뢰도를 위한 그라이스적 대리 지표 (Gricean Proxies for Credibility): 추상적인 신뢰도 항 $P_k(Good_i)$ 를 구체화하기 위해, 프레임워크는 관찰 가능한 그라이스 격률(관련성, 태도, 질)의 위반을 대리 지표로 사용합니다. 이러한 위반은 약속의 전략적 가치를 조절합니다. 예를 들어, 관련성이 없거나 불분clear한 진술을 통해 전달된 유익한 약속은 페널티를 받으며, 반대로 간접적 방식(예: 완곡한 표현)으로 전달된 해로운 약속은 피해가 덜할 수 있습니다.
지표 정의: SDA는 전략적 효과를 정량화하기 위해 세 가지 해석 가능한 지표를 정의합니다:
- 턴별 이득 ( $BAT_i$ ): 유익하거나 중립적인 약속으로부터 얻는 즉각적인 이득을 격률 위반에 따라 조정하여 정량화합니다.
- 턴별 손실 ( $PAT_i$ ): 해롭거나 약속을 이행하지 않는 응답으로부터 발생하는 즉각적인 손실을 일관성 및 격률 위반에 따라 조정하여 정량화합니다.
- 정규화된 턴별 상대적 이득 ( $NRBAT_i$ ): 대화 과정 동안의 순 전략적 이득( $\sum BAT - \sum PAT$ )을 나타내는 누적 z-점수 측정치입니다.

이 프레임워크는 언어학 교육을 받은 세 명의 주석가에 의한 CPD 일부(약 800 턴)의 인간 주석을 통해 검증되었으며, 이후 제로샷 프롬프팅을 사용하여 다양한 최신 LLM(7B에서 70B 파라미터 범위, 추론 강화 모델 포함)을 평가했습니다.

주요 결과

인간 주석 타당성: SDA 지표는 $BAT$, $PAT$, $NRBAT$에 대해 높은 주석자 간 일치도(Spearman's $\rho$ 0.65–0.83)를 보였으며, 이는 단순한 결과 판단에 대한 일치도(Fleiss' $\kappa$ 0.29)를 크게 상회했습니다. 이는 해당 지표들이 주관적인 결과 예측보다 객관적이고 담화 내부적인 속성을 더 잘 포착함을 시사합니다.
예측력: $BAT $와$ PAT$를 예측 변수로 사용한 로지스틱 회귀 모델은 인간 주석가의 결과 판단을 예측하는 데 있어 74.6%의 정확도와 0.80의 AUC를 달성했습니다. 특히 주석가들의 근거가 개인적 감정이 아닌 논리적 논증에 기반했을 때 지표의 효과가 두드러졌습니다.
LLM 성능:
- 모델 크기: 큰 모델일수록 전략적 지표에 대해 작은 모델보다 인간의 판단과 더 밀접하게 일치했으며, 특히 전략적 이득을 식별하는 데 그러했습니다.
- 추론의 한계: 역설적이게도, 명시적 추론 메커니즘(Chain-of-Thought)을 갖춘 모델들은 비추론 모델보다 오히려 성능이 떨어지는 경우가 많았는데, 특히 전략적 손실($PAT$)을 식별할 때 그러했습니다. 추론 흔적 분석 결과, 이러한 모델들은 과업을 지나치게 복잡하게 해석하여 표면적인 손상 통제 전략(예: 완곡한 표현)을 중립적이거나 유익한 것으로 오해하고, 더 넓은 적대적 목표를 통합하는 데 실패하는 경향이 있었습니다.
- 그라이스적 측면 vs 전략적 측면: LLM은 그라이스 격률(관련성, 태도, 질)의 위반을 식별하는 데는 우수한 성능을 보였으나(높은 일치도), 전략적 유형의 약속을 식별하거나( $\mu \approx 0.14$ ) 그에 따른 전략적 지표를 계산하는 데는 상당한 어려움을 겪었습니다.

의의 및 주장
본 논문은 SDA가 비협력적 환경에서의 전략적 의사소통을 평가하기 위해 이론적으로 근거가 탄탄하면서도 경험적으로 실행 가능한 프레임워크를 제공한다고 주장합니다. 주요 의의는 다음과 같습니다:

이론과 데이터의 가교: 관찰 불가능한 구성 요소를 추정 가능한 대리 지표(그라이스적 위반)와 약속 기반 분류 체계로 대체함으로써, 추상적인 ME 게임의 배심원 기능을 실제의 고위험 담화에 성공적으로 적용했습니다.
LLM의 한계 규명: 본 연구는 거대 모델 및 추론 강화 모델을 포함한 현재의 LLM이 적대적 맥락에서의 전략적 언어에 대한 견고한 이해가 부족함을 입증했습니다. 이들은 협력적 격률 위반(flouting)과 전략적 회피를 구분하지 못하는 경우가 많으며, 추론 능력이 오히려 혼란을 야기할 수 있음을 보여주었습니다.
담화의 비대칭성: 본 프레임워크는 협력적 담화와 비협력적 담화가 비대칭적임을 강조합니다. 비협력적 담화는 해로운 약속과 격률 위반의 빈도가 더 높지만, 이는 단순한 의사소통의 실패가 아니라 손실 최소화를 위한 전략적 도구로 활용됩니다.

저자들은 본 프레임워크가 (편향과 같은 담화 외적 요인에 의존하는) 대화 결과를 완벽하게 예측하지는 못하며, 현재의 주석이 장기적인 전략적 계획보다는 국소적인 턴 단위의 효과에 집중하고 있다는 점을 언급하며 신중한 입장을 유지합니다. 저자들은 SDA를 적대적 환경에서 작동하는 AI 에이전트의 정렬(alignment) 및 안전 모니터링을 위한 필수적인 단계로 제안합니다.