💬 NLP

CLASH: Evaluating Language Models on Judging High-Stakes Dilemmas from Multiple Perspectives

이 논문은 다양한 캐릭터의 관점을 포함한 고위험 딜레마 데이터셋인 CLASH를 소개하며, 이를 통해 첨단 언어 모델조차 가치 기반 의사결정에서 어려움을 겪고 있으며, 심리적 불편함에 대한 합리적인 예측에도 불구하고 조기 확언 및 가치 변화에 대한 이해 부족과 같은 특정한 실패 패턴을 보인다는 점을 밝혀낸다.

원저자: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ayoung Lee, Ryan Sungmo Kwon, Peter Railton, Lu Wang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 어려운 인생의 선택을 내리는 법을 가르치려 한다고 상상해 보십시오. 이전의 대부분의 테스트는 로봇에게 "직장에 늦었다면 무단횡단을 해도 괜찮은가?"와 같은 단순한 질문을 던졌습니다. 하지만 현실 세계에서 가장 어려운 선택은 단순하지 않습니다. 그것은 모든 선택지가 누군가에게 상처를 주고, 가치관들이 두 폭풍처럼 충돌하는 고위험의 딜레마입니다.

이 논문은 AI가 이러한 복잡하고 압박감이 심한 상황을 다룰 수 있는지 확인하기 위해 설계된 새로운 "시험"인 CLASH(고위험 상황에서의 캐릭터 관점 기반 LLM 평가)를 소개합니다.

다음은 그들이 무엇을 했고 무엇을 발견했는지에 대한 내용을 쉬운 비유를 사용하여 정리한 것입니다.

1. 시험: CLASH

이전의 AI 테스트가 짧고 깔끔한 문장으로 된 객관식 퀴즈라면, CLASH는 하나의 드라마 시리즈와 같습니다.

스토리: 단문 대신, 이 데이터셋은 생사가 걸렸거나 인생을 바꿀 만한 상황(예: 의사가 치료법을 결정하거나, 은행원이 막대한 손실을 입히는 실수 등을 하는 상황)에 대한 345개의 길고 상세한 이야기를 담고 있습니다.
캐릭터: 모든 이야기마다 AI는 서로 다른 "캐릭터"의 관점에서 답해야 합니다. 어떤 캐릭터는 안전만을 중시하고, 어떤 캐릭터는 공정함만을 중시합니다. 어떤 캐릭터는 이야기 중간에 마음을 바꾸기도 합니다.
목표: 시험은 다음과 같이 묻습니다: "만약 당신이 캐릭터 A라면, 이것을 하겠습니까? 이것 때문에 속이 메스꺼울 것 같습니까? 어제와 비교했을 때 당신의 생각이 바뀌었습니까?"

2. 주요 발견: AI가 넘어지는 지점

연구진은 14개의 서로 다른 AI 모델(GPT-5나 Claude-4와 같은 최신형의 똑똑한 모델 포함)을 이 시험으로 테스트했습니다. 결과는 다음과 같았습니다.

A. "결정을 못 하는" 문제 (양가감정)

비유: 두 개의 문 앞에 서 있다고 상상해 보십시오. 한 문은 보상으로 이어지고, 다른 문은 함정으로 이어집니다. 인간은 "마음이 갈팡질팡해서 선택할 수 없다"라고 말할 수 있습니다.
결과: AI 모델들은 자신이 갈등하고 있음을 인정하는 데 매우 서툽니다. 가장 똑똑한 모델들조차 상황이 분명히 "아마도"가 필요한 상황임에도 불구하고 "예" 또는 "아니오"라는 답변을 강요받았습니다. 그들은 "잘 모르겠다"라고 말하는 데 어려움을 겪었으며, 정답이 "혼란스럽다"인 경우에도 마찬가지였습니다. 실제로 가장 우수한 모델도 이 부분을 약 51% 정도만 제대로 맞혔습니다.

B. "직감"의 문제 (불편함)

비유: 때로는 무엇을 해야 할지 알지만, 마음 한구석이 불편할 때가 있습니다. 마치 회사를 살리기 위해 친구를 해고해야 하는 부모와 같습니다.
결과: AI는 캐릭터가 언제 불편함을 느껴야 하는지 포착하는 데는 꽤 능숙합니다. 만약 이야기가 "캐릭터 A는 정직을 가치 있게 여기지만 거짓말을 해야 한다"라고 한다면, AI는 "그렇다, 캐릭터 A는 이에 대해 기분이 나쁠 것이다"라고 올바르게 추측합니다.

C. "기억"의 문제 (가치의 변화)

비유: 피자를 좋아하는 캐릭터가 있었지만, 배탈이 난 후 이제 피자를 싫어하게 되었다고 가정해 봅시다.
결과: AI 모델들은 자신의 "생각"을 업데이트하는 데 매우 서툽니다. 이야기가 "캐릭터 A는 과거에 X를 가치 있게 여겼지만, 이제는 Y를 가치 있게 여긴다"라고 말하면, AI는 종종 그 변화를 잊어버리고 예전의 신념을 바탕으로 답합니다. 이는 작년에 공부했지만 올해 새로운 과목을 배웠다는 사실을 잊어버린 학생과 같습니다. 가치가 변했을 때 정확도는 거의 43포인트나 떨어졌습니다!

3. AI는 어떻게 "생각하는가" (추론 체인)

연구진은 AI가 이 문제들을 어떻게 해결하는지 보기 위해 AI의 "두뇌" 내부를 들여다보았습니다.

기존의 기술: 수학이나 체스에서 똑똑한 AI들은 "백트래킹(backtracking, 자신의 풀이 과정을 검토하고 규칙을 되짚어 보는 것)"이라는 전략을 사용합니다. 이는 수학에서 매우 효과적입니다.
새로운 실패: 도덕적 딜레마에서는 이 백트래킹이 도움이 되지 않았습니다. 대신, AI는 두 가지 나쁜 습관을 보였습니다:
1. 조기 확언 (Early Commitment): AI는 전체 이야기를 듣기도 전에 판사가 의사봉을 두드리듯 너무 빨리 한쪽 편을 듭니다.
2. 과잉 확언 (Overcommitment): 일단 한쪽 편을 선택하면, 다른 쪽이 옳을 수도 있다는 증거를 무시하고 고집스럽게 그 입장을 고수합니다. 이는 결론을 말하기 시작한 후에는 반대 측의 주장에는 귀를 기울이지 않는 변호사와 같습니다.

4. "조종(Steering)" 테스트

연구진은 특정 가치(예: 안전 vs 자존감)를 향해 AI를 얼마나 쉽게 "조종"할 수 있는지 테스트했습니다.

발견: 만약 AI가 이미 "안전"을 매우 좋아한다면, 이를 "자존감"으로 바꾸도록 만드는 것은 매우 어렵습니다. AI가 자연적으로 선호하는 가치가 높을수록, 그 반대의 가치로 조종하기는 더 어려워집니다.
관점의 기술: AI는 "당신이 어떻게 하겠느냐?"(1인칭)라고 물었을 때보다 "캐릭터 A라면 어떻게 하겠느냐?"(3인칭)라고 물었을 때 더 잘 따랐습니다. 하지만 "안전"이라는 가치에 대해서는, AI가 1인칭으로 질문받았을 때 더 잘 따랐는데, 이는 아마도 안전이 모델에게 깊이 각인된 본능이기 때문일 것입니다.

요약

이 논문은 AI가 수학이나 게임에서는 똑똑해지고 있지만, 인간의 가치라는 복잡하고 감정적이며 변화무쌍한 세상을 항해하는 데는 여전히 매우 서투르다고 결론짓습니다. AI는 혼란스러울 때 이를 인정하는 데 어려움을 겪고, 사람들이 마음을 바꿀 때 이를 잊어버리며, 종종 자신의 고집스러운 논리에 갇혀 버립니다.

중요 참고 사항: 저자들은 이것이 진단 도구임을 강조합니다. 그들은 이 AI 모델들이 의사나 판사가 될 준비가 되었다고 말하는 것이 아닙니다. 오히려, 이 테스트에서 높은 점수를 받는다고 해서 AI를 실생활에서 안전하게 사용할 수 있다는 뜻은 아니며, 단지 우리가 AI가 어디에서 실패하고 있는지를 볼 수 있는 더 나은 방법을 갖게 되었음을 의미한다고 경고합니다.

기술 요약: CLASH – 다양한 관점에서 고위험 딜레마를 판단하는 언어 모델 평가

문제 정의

대규모 언어 모델(LLM)이 의료, 법률, 금융과 같은 고위험 영역에 점점 더 많이 배치되고 있지만, 가치가 충돌하는 맥락에서 가치 편향적인 딜레마를 탐색하는 능력은 여전히 미개척 영역으로 남아 있으며, 특히 중대한 결과가 따르는 상황에서의 능력이 충분히 연구되지 않았습니다. 기존 연구는 주로 일상적이고 저위험인 시나리오에 집중하거나, 인간의 가치 체계가 지닌 미묘한 차이를 포착하지 못하는 합성된 단문 형태의 상황에 의존해 왔습니다. 또한, 기존 벤치마크는 모델을 이진 선택(binary choices)으로 제한함으로써 진정한 결정적 양가성(ambivalence)과 시나리오의 복잡성을 혼동하며, 불편함(discomfort)이나 역동적인 가치 변화와 같은 의사결정의 핵심적인 심리적 측면을 간과하고 있습니다. 특정 캐릭터의 관점에서 추론하고, 가치 갈등을 처리하며, 고위험 맥락에서 변화하는 가치 체계에 적응하는 능력을 평가할 수 있는 엄격한 평가 프레임워크가 부족한 실정입니다.

방법론

이러한 격차를 해소하기 위해 저자들은 정교하게 큐레이션된 데이터셋이자 벤치마크인 CLASH(Character perspective-based LLM Assessments in Situations with High-stakes)를 소개합니다.

데이터셋 구축

CLASH는 의료, 비즈니스, 저널리즘/미디어, 정부/정치 분야의 공공 웹 소스에서 추출한 345개의 인간 작성 롱폼(long-form) 딜레마로 구성됩니다. 각 딜레마는 다음 요소들로 풍부하게 구성됩니다:

행동(Action): 상황에서 파생된 구체적이고 논쟁적인 행동.
가치 관련 근거(Value-Related Rationales): 관련성과 명확성을 보장하기 위해 인간 검수자가 생성하고 정제한 지지 및 반대 근거 쌍.
캐릭터 설명(Character Descriptions): 11가지의 독특한 캐릭터 프로필. 이는 정적(Static)(직설적, 단순 대조, 설득된 대조) 유형과 동적(Dynamic)(변화, 반전, 거짓 변화) 유형으로 분류됩니다. 이러한 설명은 캐릭터가 가치를 우선시하고, 양가성을 경험하며, 시간이 흐름에 따라 가치 변화를 겪는 방식을 구체화합니다.

데이터셋은 3,795개의 개별 관점을 포함하며, 모델이 다음 세 가지 특정 차원을 테스트하도록 설계되었습니다:

양가성(Ambivalence): 경쟁하는 가치가 동일하게 가중치를 갖거나 명확한 선택이 불가능할 때, 결정을 내리지 못하는 상태를 인식하는 능력.
심리적 불편함(Psychological Discomfort): 인지 부조화 이론에 근거하여, 어려운 결정을 내릴 때 캐릭터가 느끼는 내부적 불안을 감지하는 능력.
가치 변화(Value Shifts): 근본적인 가치 선호도가 진화함에 따라(예: '이전' 관점에서 '현재' 관점으로) 특정 행동에 대한 캐릭터의 수용도가 어떻게 변하는지 추론하는 능력.

실험 설정

저자들은 비사고형(non-thinking) LLM(예: Qwen2.5, Llama3.1/3.3, Mistral, GPT-4o)과 "사고형" 추론 언어 모델(RLM)(예: GPT-5, Claude-4-Sonnet, Deepseek-3.1)을 포함한 14개의 모델을 벤치마킹했습니다. 모델은 추론 체인을 생성한 후 삼항(예/아니오/모호함) 또는 이진(예/아니오) 질문에 답하도록 프롬프트되었습니다.

추가 분석

추론 체인 분석: 성공적인 추론 체인과 실패한 추론 체인을 비교 분석하여, 인지적 행동(역방향 체이닝, 검증, 조기 확정, 과잉 확정)과 윤리 이론(예: 실용 윤리, 의무론)의 사용을 조사했습니다.
조건부 조종 가능성(Conditional Steerability): 한 가치가 다른 가치와 충돌할 때 모델을 특정 가치 쪽으로 얼마나 효과적으로 유도할 수 있는지 평가하기 위한 새로운 메트릭을 제안했습니다. 이는 기존의 절대적 조종 가능성 연구와 대조됩니다.
프레이밍 효과(Framing Effects): 1인칭 대 3인칭 질문 프레이밍을 비교하여 모델의 성능과 조종 가능성에 미치는 영향을 평가했습니다.

주요 기여

CLASH 데이터셋: 345개의 고위험 롱폼 딜레마와 3,795개의 다양한 캐릭터 관점을 특징으로 하는 새로운 벤치마크로, 짧고 합성된 시나리오를 넘어 실제 세계의 복잡성을 포착합니다.
새로운 평가 차원: 의사결정 양가성, 심리적 불편함, 역동적 가치 변화에 대한 LLM의 체계적인 첫 번째 평가를 제공하며, 표준 정확도 메트릭으로는 포착할 수 없는 구체적인 실패 모드를 드러냅니다.
조건부 조종 가능성: 상충하는 가치 시나리오에서 조종 가능성을 측정하는 방법을 도입하여, 모델의 내재적 가치 선호도와 반대되는 가치로 조종될 수 있는 능력 사이의 유의미한 음의 상관관계를 밝혀냈습니다.
추론 통찰: 가치 추론에서의 새로운 실패 패턴, 특히 **조기 확정(early commitment)**과 **과잉 확정(overcommitment)**을 식별하였으며, 수학적 작업에 효과적인 인지 전략(예: 검증)이 가치 추론에는 덜 효과적이라는 점을 발견했습니다.

주요 결과

양가성 해결의 어려움: 최첨단 proprietary 모델들조차 양가적인 결정에 어려움을 겪습니다. 예를 들어, GPT-5는 양가적 설정(단순 대조)에서 **24.06%**의 정확도를, Claude-4-Sonnet은 **51.01%**의 정확도를 기록하며, 이는 진정한 결정 불능 상태를 인식하는 데 실패했음을 나타냅니다.
불편함 vs 가치 변화: 모델들은 심리적 불편함을 비교적 잘 예측하지만(예: Swayed Contrast에서 GPT-5는 98.61% 달성), 가치 변화를 추론할 때는 크게 실패합니다. GPT-4o-mini는 '이전' 관점에 비해 '현재' 관점에서 추론할 때 평균 42.95 포인트의 정확도 하락을 보였으며, 최대 66.43 포인트까지 하락했습니다.
추론 실패: 가치 작업에서의 성공적인 추론 체인은 수학 작업보다 역방향 체이닝과 검증이 적게 나타났습니다. 대신, 실패는 조기 확정(한쪽을 성급하게 선호함)과 과잉 확정(상충하는 증거에도 불구하고 초기 판단을 고수함)에 의해 특징지어졌습니다.
윤리 이론: 성공적인 체인은 **실용 윤리(Pragmatic Ethics)**와 **권리 윤리(Rights Ethics)**를 사용할 가능성이 더 높았습니다. 이는 현실 세계의 적응에 초점을 맞춘 프레임워크가 경직된 의무론이나 공리주의적 접근 방식보다 가치 추론에 더 효과적임을 시사합니다.
조종 가능성 상관관계: 모델의 내재적 가치 선호도와 그 반대 가치로의 조종 가능성 사이에는 유의미한 음의 상관관계( $r = -0.243, p < 0.005$ )가 존재합니다. 즉, 내재적 선호가 강할수록 반대 방향으로 조종하기가 더 어렵습니다.
프레이밍 효과: 3인칭 프레이밍이 일반적으로 조종 가능성을 향상시켰으나, 1인칭 프레이밍은 자존감(Self-Esteem) 대비 안전(Safety)에 대한 조종에 독특하게 효과적이었습니다. 이는 학습 데이터의 강조점 때문인 것으로 보입니다.

의의 및 주장

본 논문은 CLASH가 고위험 환경에서의 인간다운 판단력과 관련하여 현재의 프런티어 LLM들이 가진 근본적인 한계를 드러낸다고 주장합니다. 저자들은 다음과 같이 단언합니다:

고위험 추론은 구별됨: 가치 기반 추론은 수학이나 게임 추론을 돕는 것과 같은 인지적 행동(예: 검증)의 혜택을 받지 못하며, 모호성과 역동적 가치를 다루기 위한 새로운 전략이 필요합니다.
현재 모델은 불충분함: 가장 강력한 모델들(GPT-5, Claude-4-Sonnet)조차 양가성과 가치 변화를 다루는 데 상당한 격차를 보이며, 이는 이들이 민감한 영역에서 자율적 의사결정을 내리기에 아직 신뢰할 수 없음을 시사합니다.
방법론적 발전: "조건부 조종 가능성"의 도입과 캐릭터 관점에 대한 집중은 단일 가치 또는 절대적 정렬 메트릭보다 더 미묘한 모델 정렬(alignment) 관점을 제공합니다.

저자들은 본 연구가 방법론적이고 진단적임을 강조합니다. 그들은 CLASH에서의 높은 성능이 고위험 영역의 실세계 배포를 위한 안전성이나 신뢰성의 증거로 해석되어서는 안 된다고 명시적으로 경고합니다. 대신, 이 벤치마크는 한계를 노출하고, 모델이 더 복잡한 인간의 추론 과정을 더 잘 정렬하도록 유도하는 미래 연구를 안내하는 역할을 합니다.