🤖 machine learning

Two Confounds in Cross-Model Value Comparison: Response Determinism and the Access Harness

이 논문은 모델 간 가치 비교에서 발생하는 두 가지 결정적인 혼란 변수, 즉 진정한 가치 차이를 강제 선택적 확신의 날카로움과 혼동하는 응답 결정론(response determinism)과, 배포 특화된 클라이언트 레이어가 모델의 겉보기 가치 프로필을 크게 변화시켜 단일 추출 측정에 기반한 순위를 왜곡하는 액세스 하네스(access harness)를 식별하고 이를 교정한다.

원저자: Hong-In Won, Jinseok Jang, Hyoseop Kim

게시일 2026-07-14

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hong-In Won, Jinseok Jang, Hyoseop Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 두 가지 다른 브랜드의 아이스크림 중 어떤 것이 더 "달콤한지" 알아보기 위해 맛 테스트를 하고 있다고 상상해 보세요. 당신은 브랜드 A 한 스쿱과 브랜드 B 한 스쿱을 가져왔습니다. 브랜드 A는 바닐라입니다. 브랜드 B도 바닐라지만, 아주 작고 농축된 샷 글라스에 담겨 있습니다. 브랜드 A는 크고 폭신한 그릇에 담겨 있습니다. 만약 당신이 딱 한 숟가락만 맛본다면, 브랜드 B는 그 자체가 근본적으로 다르기 때문이 아니라, 너무 강렬하고 집중되어 있다는 이유만으로 훨씬 더 달콤하게 느껴질 수 있습니다.

이것이 바로 이 논문이 인공지능(AI) 모델에 대해 발견한 내용입니다. 오랫동안 연구자들은 서로 다른 AI 모델들에게 단 하나의 질문을 던져 비교해 왔습니다: "만약 옵션 A와 옵션 B 중 하나를 골라야 한다면, 무엇을 고르겠습니까?" 그들은 만약 모델 X가 A를 고르고 모델 Y가 B를 골랐다면, 두 모델이 완전히 다른 "성격"이나 "가치관"을 가지고 있다고 가정했습니다.

하지만 저자인 홍인원과 김효섭은 이렇게 말합니다. "잠깐만, 당신은 두 가지 서로 다른 것을 동시에 측정하면서, 그것들을 혼동하고 있습니다."

두 가지 혼동 (The Two Mix-Ups)

1. "확신"의 혼동 (결정론 - Determinism)
첫 번째 혼동은 모델이 답변에 얼마나 강하게 확신을 갖느냐에 관한 것입니다.
두 사람이 퀴즈를 푸는 상황을 상상해 보세요.

사람 A는 100% 확신합니다. 질문을 받을 때마다 "A!"라고 소리칩니다.
사람 B는 약간 우유부단합니다. "A"라고 60%, "B"라고 40% 말합니다.

만약 당신이 딱 한 번 질문했을 때, 사람 A가 "A"라고 하고 사람 B가 "B"라고 했다면, 당신은 그들이 정반대라고 생각할 수도 있습니다. 하지만 그들은 그렇지 않습니다! 둘 다 "A" 쪽으로 기울어져 있습니다. 사람 A는 그냥 크고 단호한 "A"의 팬인 것이고, 사람 B는 조용하고 망설이는 "A"의 팬일 뿐입니다.

논문은 연구자들이 단 하나의 답변(single-draw)만을 사용하여 AI 모델을 비교할 때, 실수로 이 "목소리 크기"나 "단호함"을 가치관의 차이로 계산한다는 점을 보여줍니다.

연구 결과: 저자들은 9개의 서로 다른 AI 모델을 테스트했습니다. 그 결과 어떤 모델들은 매우 단호한 반면(예: 결정성이 0.95인 GPT-5.5 같은 모델), 다른 모델들은 훨씬 부드러웠습니다(예: 특정 앱에서 측정했을 때 0.34에 불과했던 앤스로픽의 "Opus" 모델).
반전: 이 "단호함"은 모델의 이름만 보고 추측할 수 있는 고정된 성격 특성이 아닙니다. 한 모델 제품군에서는 더 작고 저렴한 모델이 더 크고 비싼 플래그십 모델보다 더 단호했습니다. 또 다른 제품군에서는 더 큰 모델이 더 단호했습니다. 저자들은 모델을 만든 곳이나 크기를 안다고 해서 그 모델의 "목소리 크기"를 바로 알 수는 없으며, 사용할 때마다 매번 측정해야 한다고 제안합니다.

2. "배달 트럭"의 혼동 (액세스 하네스 - The Access Harness)
두 번째 혼동은 훨씬 더 교묘합니다. 이것은 아이스크림에 관한 것이 아니라, 아이스크림을 배달하는 트럭에 관한 것입니다.
저자들은 AI에게 질문하는 방식이 답변을 바꾼다는 사실을 깨달았습니다. 그들은 이를 "액세스 하네스(access harness)"라고 부릅니다.

피자를 주문한다고 상상해 보세요. 만약 피자 가게에 직접 전화한다면("Raw API"), 당신은 요리사가 만든 그대로의 피자를 받게 됩니다.
하지만 만약 특정 배달 앱(예: "CLI" 또는 구독 도구)을 통해 주문한다면, 그 앱은 주방에 다음과 같은 메모를 남길 수 있습니다: "더 맵게 만들어 주세요!" 또는 "고객이 거절하지 못하게 하세요."

저자들은 어떤 AI 모델의 경우, "배달 앱"(AI와 대화하는 소프트웨어)이 모델의 성격을 완전히 바꾼다는 것을 발견했습니다.

증거: 그들은 동일한 AI 모델을 가지고 똑같은 질문을 두 번 던졌습니다. 한 번은 직접 연결(Raw API)을 통해서, 또 한 번은 인기 있는 구독형 앱을 통해서입니다.
결과: 구독형 앱을 통해서 물었을 때, "Opus" 모델은 매우 부드럽고 불확실해 보였습니다(0.34). 하지만 직접적인 연결을 통해 물었을 때, 그것은 실제로 꽤 단호했습니다(0.66). 앱이 모델의 성격을 "평탄하게" 만든 것입니다.
"거절"의 기술: 한 사례에서, 직접 연결은 질문이 불공정하다고 느껴질 때 10%의 확률로 답변을 거부하는 모습을 보였습니다. 하지만 구독형 앱은 모델이 매번 답변하도록 강제하여, 모델이 순응적인 것처럼 보이게 만들었습니다. 저자들은 이것이 "시스템 프롬프트"(앱이 질문과 함께 보내는 일련의 지침)에 의해 발생했음을 증와했습니다. 이 프롬프트는 모델에게 "그냥 알파벳 하나를 골라라, 논쟁하지 마라"라고 명령하고 있었습니다.

이것이 AI의 "성격"에 의미하는 바

그렇다면 이 논문이 실제로 증명한 것은 무엇일까요?

그것은 우리가 보는 AI 모델 간의 "거리"가 종종 가짜라는 것을 증명했습니다. 그것은 그들이 얼마나 목소리가 큰지, 그리고 우리가 그들과 대화하기 위해 어떤 소프트웨어를 사용했는지의 혼합물입니다.
그것은 우리가 AI와 대화하는 소프트웨어(하네스)가 중립적인 통로가 아니라, AI의 가치관을 능동적으로 형성한다는 것을 증명했습니다.
그것은(완전히 해결하지는 못했지만) "단호함"이 모델마다 크게 다르며, "더 큰 모델이 더 목소리가 크다"와 같은 단순한 규칙을 따르지 않는다는 것을 제안합니다.

무엇이 정답이 아닌가요?
이 논문은 모델의 이름만 보고 그 가치관을 알 수 있다는 생각을 명시적으로 배제합니다. 또한 모든 모델 간의 차이가 단순히 "노이즈"일 뿐이라는 생각도 배제합니다.

좋은 소식: 이러한 두 가지 혼동을 수정한 후에도, 저자들은 일부 모델이 실제로 의견 차이를 보인다는 것을 발견했습니다. 예를 들어, "Grok-3"라는 모델은 질문의 약 73%에서 88%에 대해 OpenAI나 Google의 모델들과 정말로 다른 방향으로 기울어져 있습니다. 이것은 측정 오류가 아니라 실제적인 차이입니다.
나쁜 소식: 한 회사 내의 모델 제품군(예: 서로 다른 앤스로픽 모델들 사이)에서 우리가 보았던 대부분의 차이는, 주로 그들이 얼마나 목소리가 큰지, 혹은 그들이 사용하던 앱이 그들을 어떻게 형성했는지의 차이였습니다.

핵심 요약 (The Takeaway)

만약 당신이 두 AI 모델이 서로 다른 가치관을 가지고 있는지 알고 싶다면, 단순히 질문 하나를 던지고 그들이 무엇을 말하는지 봐서는 안 됩니다. 당신은 다음을 수행해야 합니다:

그들이 단지 "목소리가 큰 것"인지 아니면 실제로 "다른 것"인지 확인하기 위해 동일한 질문을 여러 번 던져야 합니다.
당신이 동일한 "문"(동일한 소프트웨어 연결)을 통해 그들과 대화하고 있는지 확인해야 합니다. 왜냐하면 그 문 자체가 그들의 마음을 바꿀 수 있기 때문입니다.

저자들은 AI의 성격에 대한 미스터리를 영원히 해결한 것은 아니지만, 그것을 들여다볼 수 있는 더 나은 돋보기를 만들어냈습니다. 그들은 우리가 깊은 철학적 이견이라고 생각했던 것이, 실제로는 한 AI는 소리치고 있고 다른 AI는 속삭이고 있는 상태이거나, 한 AI는 독단적인 매니저와 대화하고 있고 다른 AI는 조용한 친구와 대화하고 있는 상태일 수도 있다는 것을 보여주었습니다. 진짜 차이는 존재하지만, 그 차이를 보기 위해서는 노이즈를 제거해야 합니다.

기술 요약: 교차 모델 가치 비교에서의 두 가지 혼란 변수

문제 정의
규칙에 기반한 정답이 없는 가치 트레이드오프 상황에서 언어 모델(LM)이 내리는 선택, 즉 "가치 성향(value dispositions)"을 비교하는 현재의 관행은 단일 추출(single-draw) 측정에 의존하고 있다. 학계에서는 이러한 선택의 체계적 차이를 개별화된 모델 가치(예: 특정 모델이 다른 모델보다 더 "전통 지향적"임)의 증거로 점점 더 해석하고 있다. 그러나 본 논문은 단일 추출 비교가 두 가지 서로 다른 양을 혼동하고 있다고 주장한다.

중심 경향성의 차이: 진정한 가치 방향의 불일치 (예: 모델 A는 옵션 X를 선호하고, 모델 B는 옵션 Y를 선호함).
응답 결정론의 차이: 모델이 선택에 얼마나 강하게 몰입하는지에 대한 차이 (예: 모델 A는 X를 100%의 확률로 선택하지만, 모델 B는 X를 60%의 확률로 선택함).

단일 추출 측정 하에서, 근본적인 가치 성향은 동일하지만 결정론적 성향이 높은 모델은 결정론적 성향이 낮은 모델에 비해 큰 "가치 거리(value distance)"를 가진 것으로 나타난다. 또한, 교차 모델 비교에서는 모델이 서비스되는 방식(특정 배포 클라이언트, API 래퍼 또는 시스템 프롬프트)인 **액세스 하네스(access harness)**라는 두 번째 혼란 변수를 간과해 왔다. 이는 모델의 가중치와 독립적으로 가치 프로필을 변화시킬 수 있다.

방법론
저자들은 5개 제공자 제품군(Anthropic, OpenAI, Google, DeepSeek, xAI)에 걸친 9개 모델에 적용되는 분리 프로토콜과 분해 프레임워크를 도입한다.

자극(Stimulus): 연구는 18개의 "무규칙 가치 딜레마"(법적/안전 규칙이 답을 규정하지 않으며, 옵션이 표면적으로 대칭적인 강제 이진 선택)를 사용한다.
반복적 카운터밸런스 측정: 단일 추출 대신, 각 모델은 항목당 $N=40$ 번씩 쿼리된다. 위치 편향과 비참여를 탐지하기 위해 옵션 레이블은 카운터밸런스(A/B 스왑) 처리된다.
결정론 지수: 명시적 지표인 *극단성(extremity)*이 계산된다. 이는 모든 항목에 대해 $|P(v_1) - 0.5| \times 2$ 의 평균값이다. 이는 방향성과 무관하게 선택의 몰입도(0 = 최대 불확실, 1 = 완전한 결정론)를 측정한다.
분해(Decomposition): 겉보기의 교차 모델 거리는 다음과 같이 나뉜다.
- 방향 반전 (진정한 차이): 모델들이 0.5 임계값의 반대편을 선택함.
- 동일 방향, 더 극단적 (레이블링된 결정론): 모델들이 같은 쪽을 선택하지만 몰입 수준이 다름.
액세스 하네스 통제: 동일한 모델을 원시(raw) 제공자 API를 통해 다시 수집하여, 배포 클라이언트(예: 구독형 CLI)를 통해 수집된 "동결된 벤치마크" 데이터와 비교한다.
화이트박스 통제: 인과적 테스트로서, 원시 API 호출에 일반적인 에이전트 시스템 프롬프트를 추가하여 프롬프트가 순응도 및 가치 변화에 미치는 영향을 격리한다.

주요 결과

결정론의 가변성: 응답 결정론은 모델마다 상당히 다르게 나타나며, 모델 이름으로부터 이를 가정할 수 없다. 참여하는 모델들 사이에서, 클라이언트 매칭된 극단성은 약 0.66에서 0.95 사이이다. 주목할 점은, Anthropic 제품군 내에서는 소형 모델(Haiku)이 플래그십 모델(Opus)보다 더 결정론적이며, OpenAI 내에서는 더 큰 모델(GPT-5.5)이 이전 모델보다 더 결정론적이라는 것이다. 이는 결정론이 단순히 제공자나 규모의 함수이지는 않음을 시사한다.
발산의 분해: 결정론 구성 요소를 분리하면, 겉보기의 발산이 균일하게 진정한 것도, 균일하게 인위적인 것도 아님이 드러난다.
- 비참여: 한 모델(DeepSeek-V4-Flash)은 내용과 상관없이 고정된 레이블을 선택하는 "위치 고정(position-locked)" 상태임이 발견되었다. 이 모델의 겉보기 거리는 순수한 인위적 결과이지, 가치 불일치가 아니다.
- 진정한 불일치: 일부 교차 제품군 쌍(예: Grok-3와 타 모델)은 높은 진정한 불일치(전체 거리의 73~88%가 방향 반전에 기인)를 보이며, 이는 엄격한 강건성 테스트에서도 유지된다.
- 제품군 내 노이즈: 동일한 제공자 제품군 내의 대부분의 겉보기 차이는 진정한 가치 개별화보다는 결정론적 인위성이나 경계 노이즘에 의해 발생한다.
액세스 하네스 혼란 변수: 배포 클라이언트는 가치 프로필을 유의미하게 변화시킨다.
- Anthric claude-p CLI는 플래그십인 Opus의 가치 프로필을 선택 확률에서 평균 0.31만큼 이동시키며, 원시 API와 비교했을 때 18개 항목 중 4개의 방향을 뒤바꾼다.
- 또한 이 클라이언트는 결정론 지수를 왜곡하여, Opus를 원시 API(0.66)보다 훨씬 부드러운(0.34) 모델로 보이게 만든다.
- 반면, OpenAI codex 클라이언트는 "깨끗한" 상태로, 무시할 만한 변화(0.008–0.05)만을 보인다.
- 인과적 메커니즘: 화이트박스 통제 실험은 에이전트 시스템 프롬프트가 강제 선택 거부(Opus의 원시 API 호출 중 약 10%에서 발생)를 인과적으로 제거하고 가치 프로필을 변화시킴을 확인한다. 그러나 배포된 CLI에서의 구체적인 변화 폭은 일반적인 프롬프트에 의해 완전히 재현되지 않는데, 이는 복잡하고 독점적인 스티어링 레이어가 존재함을 나타낸다.
언어 민감도: 프롬프트 언어(한국어 vs 영어) 역시 유사한 혼란 변수로 작용하며, 결정론의 상대적 순서는 대체로 유지하면서 절대적 프로필을 약 0.20 정도 이동시킨다.

의의 및 주장
본 논문은 LLM이 개별화된 가치를 소유하고 있는지 여부를 확정적으로 결론짓으려 하는 것이 아니라, 그러한 질문을 혼란 변수 없이 측정할 수 있는 도구를 제공하는 데 목적이 있다.

방법론적 기여: 본 논문은 진정한 가치 불일치와 "레이블링된 결정론"(몰입의 날카로움)을 분리하는 분해법을 도입한다. 이를 통해 연구자들은 모델들이 실제로 의견이 다른 것인지, 아니면 단순히 몰입하는 방식이 다른 것인지를 구분할 수 있다.
새로운 혼란 변수의 식별: 연구는 액세스 하네스를 별개의 인과적 혼란 변수로 식별한다. 연구는 배포 클라이언트가 중립적인 통로가 아니라, 순응을 유도(거부 현상 제거)하고 가치 프로필을 실질적으로 변화시킬 수 있는 가치 형성 레이어임을 입증한다.
정렬 감사(Alignment Audits)에 대한 시사점: 단일 추출 가치 거리에 따라 모델을 순위 매기는 현재의 감사는 결함이 있다. 이들은 결정론에 의해 부풀려진 수치를 측정하며, 이는 클라이언트에 의해 더욱 혼란을 겪는다. 결과적으로, 결단력이 없는 모델(모든 것에 가깝지만 아무것에도 몰입하지 못하는 모델)은 안전한 것으로 과소 보고될 수 있으며, 모델 간의 겉보기 차이는 실제 가치 발산이 아닌 측정의 인위적 결과일 수 있다.
완만한 구조적 주장: 저자들은 결정론이 제공자, 규모, 또는 모델 정체성을 추적하는지에 대한 질문을 확정된 사실이 아닌, 자신들의 방법론을 통해 측정이 가능해진 열린 문제로 규정한다. 9개 모델 샘플은 결정론이 계보(lineage)만으로는 읽히지 않음을 시사하며, 확정적인 답을 위해서는 제공자별 밀도 높은 샘플링이 필요함을 보여준다.

요약하자면, 본 논문은 현재의 "가치 거리" 지표가 가치 방향, 몰입의 날카로움, 그리고 배포 인프라의 혼합임을 주장한다. 이러한 요인들을 교정하면, 일부 진정한 교차 제품군 간의 가치 불일치는 존재하지만, 보고된 많은 개별화 현상은 측정 및 배포 인프라에 의한 인위적 결과임이 드러난다.

두 가지 혼동 (The Two Mix-Ups)

이것이 AI의 "성격"에 의미하는 바

핵심 요약 (The Takeaway)

유사한 논문