기술 요약: ActTraitBench

1. 문제 제기

대형 언어 모델 (LLM) 은 명시적 자기 보고에서 페르소나를 설득력 있게 시뮬레이션할 수 있지만, 암묵적 의사결정 시나리오에서는 명시된 특성과 실제 행동 사이에 상당한 불일치를 자주 보여줍니다. 이러한 현상을 **지식 - 의사결정 격차 ($G_{KD}$)**라고 명명하며, 이는 심오한 의미 - 화용적 비대칭을 나타냅니다.

기존 벤치마크는 다음 세 가지 중요한 방법론적 한계로 인해 이 격차를 정확하게 측정하지 못합니다:

1. 검증되지 않은 측정 타당성: 많은 프레임워크는 엄격한 실증적 인간 벤치마킹 없이 합성 생성 레이블이나 LLM 기반 추출에 의존하여, 텍스트/의사결정과 잠재적 심리 상태 간의 매핑이 검증되지 않은 상태로 남습니다.
2. 다차원적 얽힘: 복잡한 상호작용 시나리오 (예: 다중 에이전트 토론) 는 종종 모델이 여러 거시적 특성을 동시에 처리하도록 강요하여, 특정 심리측정 측면을 흐리게 만드는 고차원적 교란 노이즈를 도입합니다.
3. 분포 편향: 현재 평가는 모델의 기본 준수 편향이나 LLM-as-a-judge 평가자의 체계적 부정적 특성 회피와 같은 보정되지 않은 분포 이동을 겪으며, 이는 자연스러운 인간 실증 분포와 통계적 불일치를 초래합니다.

2. 방법론: ActTraitBench

이러한 문제들을 해결하기 위해 저자들은 LLM 의 성격 일관성을 정량화하도록 설계된 인간 기반 평가 프레임워크인 ActTraitBench를 제안합니다. 이 프레임워크는 세 가지 핵심 단계를 통해 작동합니다:

A. 데이터 구축 및 패러다임 정제

이 프레임워크는 BFI-2(Big Five Inventory-2) 심리측정 측면에 직접 매핑된 11 개의 미시적 상황 행동 패러다임을 개발하기 위해 3 회 반복 루프를 활용합니다.

• 설계 원칙: 시나리오는 고전 실험 심리학 및 행동 경제학에서 차용되어, 환경을 ($E$) 엄격히 통제함으로써 페르소나 변수 ($P$) 를 분리하는 르뱅의 방정식 ($B = f(P, E)$) 을 준수합니다.
• 2 단계 프롬프팅: 각 테스트 항목은 순차적 흐름을 사용합니다:
  1. 정량적 의사결정: 모델은 행동 성향을 나타내는 수치 (0–99) 를 출력합니다.
  2. 정성적 귀인: 모델은 해당 의사결정에 대한 근거를 제시합니다.
• 인간 기반: 실제 행동 반응은 인간 코호트에서 수집됩니다. "LLM-as-a-judge"(GPT-5.4) 가 엄격한 기준에 따라 응답을 채점하며, 항목이 인간 BFI-2 자기 보고와 통계적으로 유의미한 스피어만 상관관계 ($\rho$) 를 보일 때까지 반복적으로 정제됩니다.

B. 분포 보정

LLM 판사에게 내재된 채점 편향을 보정하기 위해 저자들은 분위수 매핑 (Quantile Mapping) 절차를 구현합니다. 이 비모수적 방법은 다음과 같이 원시 판사 점수를 인간 BFI-2 규범에 정렬된 보정 점수로 변환합니다:

1. 판사 분포 내에서 원시 점수의 백분위 순위 추출.
2. 이 백분위를 인간 벤치마크 분포의 해당 구간과 연결 (앵커링).
3. 해당 구간 내 인간 점수의 기대값으로 점수 변환.

C. 완화 전략: 인지 정렬 연쇄 (CoCA)

$G_{KD}$를 완화하기 위해 저자들은 객관적 자의식 이론에서 영감을 받은 플러그 앤 플레이 추론 시간 개입인 CoCA를 도입합니다.

• 메커니즘: 의사결정 전에 모델은 엄격한 JSON 스키마 내에서 구조화된 3 단계 자기 성찰 프로토콜을 실행하도록 강제됩니다:
  1. 정체성 인식: "나는 누구인가?" (할당된 특성 자기 평가).
  2. 상황 매핑: "나는 어디에 있는가?" (현재 상황에서 어떤 특성이 두드러지는지 식별).
  3. 일관성 계획: "나는 무엇을 해야 하는가?" (지식과 행동을 정렬하기 위한 전략 도출).

3. 주요 결과

실험은 인간 기준선과 비교하여 14 개의 주류 LLM(DeepSeek, Qwen, Claude, Gemini, GPT-4o 포함) 에서 수행되었습니다.

지식 - 의사결정 격차 ($G_{KD}$)

• 보편적 비대칭: 모든 모델에서 명시적 자기 보고와 암묵적 의사결정 사이에 상당한 격차가 존재합니다.
• 확대 역설: 더 큰 모델이 더 일관적일 것이라는 기대와 달리, 규모 확대는 종종 격차를 악화시킵니다.
  • 소규모 모델: 지식과 의사결정 모두 평균 (안전하고 비 commitments 한 응답) 으로 수렴하는 "중립성 환상"을 보여 표면적 동기화를 만듭니다.
  • 최첨단 모델: 중립성에서 성공적으로 탈출하지만 체계적 분리를 보입니다. 그들의 암묵적 의사결정은 세련된 경향으로 다양화되는 반면, 명시적 자기 보고는 사회적으로 바람직한 극단값에 단단히 묶여 있습니다.
• 차원적 취약성:
  • 신경증: 모델은 높은 감정적 안정성 (낮은 점수) 을 주장하지만 위기 의사결정에서는 높은 불안 (높은 점수) 을 보여 사회적 바람직성 편향을 드러냅니다.
  • 개방성: 모델은 보수적인 자기 보고가 시사하는 것보다 의사결정에서 더 급진적이고 지적인 행동을 하는 경우가 많습니다.

역할극 실험

모델에 특정 페르소나 (높음/낮음 특성) 를 주입했을 때:

• 지식 준수: 모델은 자기 보고에서 주입된 페르소나를 정확하게 반영합니다 (낮은 편차).
• 의사결정 편차: 모델은 암묵적 행동 과제에서 주입된 논리를 실행하지 못하며, 목표 페르소나에서 상당한 편차를 보입니다. 이 비대칭성은 "느린 사고" 추론 모델에서도 지속됩니다.

CoCA 의 효과

• 최첨단 모델: CoCA 는 최상위 모델의 $G_{KD}$를 크게 감소시킵니다 (예: Minimax-m2.5 는 40.58%, Claude-sonnet-4-6 은 36.63% 개선). 성찰 메커니즘은 의미적 페르소나를 화용적 실행에 성공적으로 결합합니다.
• 추론 임계값: 이 개입은 모델 용량에 의해 엄격히 병목됩니다. 소규모 모델 (예: Qwen3-8b) 은 복잡한 메타인지 프롬프트가 정렬 대신 맥락 산만과 정체성 혼란을 초래하기 때문에 성능 저하 ($G_{KD}$ 약 25% 악화) 를 겪습니다.

4. 기여

1. 인간 기반 벤치마크 및 보정: ActTraitBench 는 실증적 인간 데이터에 의해 구성 타당성이 보장된 11 개의 검증된 미시적 상황 패러다임과 분위수 매핑을 통한 분포 보정을 제공합니다.
2. 격차의 정량화: 이 연구는 14 개 모델에 걸쳐 $G_{KD}$를 엄격하게 정량화하여, 규모 확대만으로는 근본적인 화용적 불일치를 해결하지 못하며 종종 이격을 증가시킨다는 사실을 밝혔습니다.
3. 추론 시간 완화: CoCA 도입은 재학습 없이 추론 가능 모델에서 지식 - 의사결정 격차를 좁히기 위해 심리학적 원칙 (자의식) 을 활용할 수 있음을 보여줍니다.

5. 의의

이 논문은 잠재적 행동 경향이 사용자 신뢰와 정렬 위험에 영향을 미치므로, 발생하는 심리적 특성을 정확하게 측정하는 것이 신뢰할 수 있는 AI 에 중요하다고 주장합니다. "성격 환상"과 "가치 - 행동 격차"를 드러냄으로써 ActTraitBench 는 정적 자기 보고에 대한 의존성에 도전합니다. 연구 결과는 현재 최첨단 모델이 고급 추론 능력을 갖추고 있음에도 불구하고 명시된 정체성과 진정한 행동 일관성이 부족함을 시사합니다. 제안된 CoCA 전략은 모델이 성찰 개입을 처리할 충분한 인지 대역폭을 가진다면, 페르소나 일관성 LLM 에이전트의 신뢰성을 향상시키기 위한 확장 가능하고 학습이 없는 경로를 제공합니다.