기술 요약: FailureScope – 언어 모델 약점의 교차 레짐(Cross-Regime) 행동 진단

1. 문제 정의

표준 대규모 언어 모델(LLM) 벤치마크는 일반적으로 집계된 정확도 점수(예: MMLU, GSM8K)를 보고하지만, 이는 모델이 결여하고 있는 구체적인 능력을 가린다. 모델이 복잡한 다회차(multi-turn), 에이전트적 시나리오에 배치됨에 따라, 단일 집계 수치와 실무자들이 필요로 하는 구체적인 진단 요구 사이의 간극은 점점 넓어지고 있다. 또한, 연구 커뮤니티는 단일 회차 벤치마크, 다회차 대화, 그리고 적대적 에이전트 평가를 위한 별도의 서브 커뮤니티로 파편화되어 있으며, 각 영역은 서로 전이되지 않는 독자적인 지표와 진단 프레임워크를 가지고 있다.

본 논문은 진단의 근본 단위가 태스크 자체가 아니라, 교차 모델 행동 패턴(cross-model behavioral pattern), 즉 특정 프로브(probe)에 대해 어떤 모델들이 실패하는가가 되어야 한다고 주장한다. 현재의 방법론들은 종종 스칼라 순위를 보존하면서 평가 비용을 줄이기 위해 벤치마크를 압축하는 데 집중하며, 이 과정에서 실무자들에게 필요한 '실패 유형'에 대한 세밀한 정보를 버리는 경우가 많다.

2. 방법론: FAILURESCOPE

저자들은 프로브의 교차 모델 통과/실패 시그니처를 기반으로 평가 프로브를 클러스터링하여 실패 분류 체계(failure taxonomies)를 구축하는 행동 진단 방법론인 FAILURESCOPE를 소개한다. 이 접근 방식은 단일 회차, 다회차, 적대적 레짐 전반에 걸쳐 이식 가능하도록 설계되었다.

핵심 파이프라인

이 방법론은 단일 회차, 다회차, 적대적 레짐 모두에서 일관되게 유지되는 5단계 알고리즘을 따른다:

1. 행렬 구축 (Matrix Construction): 프로브-모델별 통과/실패 행렬을 구축한다.
2. 결측치 보정 (Imputation): 모델이 모든 벤치마크에서 평가되지 않을 때 발생하는 누락된 항목을 열 평균을 사용하여 보정한다. 저자들은 센티널 값(예: -1)을 사용하는 것이 거리 계산에 잘못된 부정적 신호를 주입한다고 언급한다.
3. 임베딩 및 정규화 (Embedding & Normalization):
   • 태스크는 결합 벡터 $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$로 표현된다.
   • $\hat{z}_{sem}$은 의미론적 임베딩(Voyage-3-Large)이다.
   • $\hat{z}_{beh}$는 모델 간 통과/실패 상태를 인코딩하는 18차원 행동 벡터이다.
   • 저자들은 의미론적 성분이 경계선상의 클러스터를 분리하는 데 도움을 주면서도 행동 신호를 압도하지 않도록 $\alpha=0.1$(행동 중심)이 최적임을 발견했다.
   • 벡터는 L2 정규화를 거친다.
4. 클러스터링 (Clustering): UMAP(또는 PCA 백업)을 통해 차원을 30차원으로 축소한 후, HDBSCAN을 사용하여 클러스터링한다.
5. 레이블링 (Labeling): 5개의 최근접 이웃(nearest neighbors)을 사용하여 LLM 프롬프트 기반의 예시를 통해 클러스터에 레이블을 부여한다.

검증 프로토콜: Leave-One-Model-Out (LOMO)

순환 논리를 피하기 위해 저자들은 LOMO 프로토콜을 사용하여 분류 체계를 검증한다:

• 하나의 모델($m^*$)을 제외한다.
• 나머지 $N-1$개 모델을 사용하여 분류 체계를 재구축한다.
• 제외된 모델의 약점 프로필을 다음 두 가지 지표를 사용하여 이 새로운 분류 체계에 대해 평가한다:
  1. 진단 효율성 (Diagnostic Efficiency): 분류 체계 조건부 샘플링(모든 클러스터를 커버하도록 태스크를 선택)이 무작위 또는 층화 샘플링에 비해 제외된 모델의 약점 순위를 얼마나 잘 복구하는가? (Kendall's $\tau$로 측정)
  2. 교차 모델 예측 (Cross-Model Prediction): 제외된 모델의 실패 프로필을 훈련된 모델들과의 유사성을 바탕으로 예측할 수 있는가? (AUC로 측정)

3. 주요 기여 및 결과

본 논문은 동일한 원형(primitive)이 세 가지 서로 다른 레짐에서 안정적이고 해석 가능한 클러스터를 생성함을 입증함으로써 FAILURESCOPE를 검증한다.

A. 단일 회차 벤치마크 (Single-Turn Benchmarks)

• 데이터셋: 18개 모델에 대해 평가된 6개 벤치마크(GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval)로부터 추출한 2,664개 태스크.
• 클러스터링: 행동 중심 설정($\alpha=0.1$)은 실루엣 점수 0.12와 함께 25개의 안정적인 클러스터를 생성한다. 결정적으로, 86.7%의 클러스터가 여러 벤치마크에 걸쳐 있어, 실패 시그니처가 특정 데이터셋의 경계를 초월함을 보여준다.
• 진단 효율성: LOMO 하에서, 분류 체계 조건부 샘플링은 50개 태스크에서 Kendall's $\tau$ 0.81을 달연했다. 이는 무작위 선택($\tau=0.34$) 및 벤치마크 층화 샘플링($\tau=0.64$)보다 유의미하게 높다.
• 예측: 교차 모델 실패 예측은 최근접 모델 접근 방식을 사용하여 AUC 0.88에 도달했다.

B. 다회차 대화 (Multi-Turn Dialogue)

• 데이터셋: 11개의 스킬 축과 7개의 대화 깊이를 다루는, 5개의 프런티어 모델 대상 363개의 고난도 대화.
• 클러스터링: 방법론은 높은 실루엣 점수(0.92)와 함께 6개의 클러스터를 복구한다.
• 주요 발견:
  • 심층 컨텍스트 붕괴 (Deep-Context Collapse): 모든 모델이 보편적으로 실패하는 거대 클러스터(162개 태스크, 대부분 depth-6)가 존재하며, 이는 단일 회차 분석에서는 보이지 않는 패턴이다.
  • 모델 선택적 회복력 (Model-Selective Resilience): Claude Sonnet 4.6이 약 70%에서 실패하는 반면 다른 모델들은 85~100%에서 실패하는 하나의 클러스터(n=11)가 발견되었다.
  • DeepSeek 면역 후보 (DeepSeek-Immune Candidate): GPT 및 Claude 계열이 실패할 때 DeepSeek는 성공하는 작은 클러스터(n=10)가 존재한다. 저자들은 이를 대규모 재현이 필요한 가설 생성 신호로 취급한다.

C. 적대적 에이전트 공격 (Adversarial Agent Attacks)

• 데이터셋: 세 가지 공격 패밀리와 세 가지 프런티어 모델을 포함하는, 코드 실행 샌드박스에 대한 630개의 다회차 에이전트 트레이스.
• 클러스터링: 방법론은 3개의 뚜렷한 행동 프로필을 식별한다:
  1. 평가의 메타 실패 (Meta-Failure of Evaluation): 인지 부하 공격에 대해 LLM-판사(Judge)의 공격 성공률(ASR)과 실제 네트워크 실행 ASR 사이의 73~100 퍼센트 포인트 격차. 이 클러스터는 모델이 아닌 *평가 도구(판사)*가 신뢰할 수 없음을 드러낸다.
  2. 선택적 구성적 거부 (Selective Compositional Refusal): Claude Sonnet 4.6은 첫 번째 단계를 통과했음에도 불구하고 두 번째 단계에서 악성 페이로드를 거부하는 독특한 프로필(30건 중 21건)을 보이는 반면, GPT-5.4는 공격을 92% 확률로 실행한다.
  3. 구성적 준수 (Compositional Compliance): GPT-5.4와 GPT-5.4-mini는 높은 실행률을 보이며, 도구 실패 및 거부 클러스터와 구별되는 "진정으로 침해된(genuinely compromised)" 클러스터를 형성한다.

4. 의의 및 주장

본 논문은 행동 클러스터링이 어떤 단일 벤치마크를 넘어서 일반화될 수 있는 휴대 가능한 진단 원형이라고 주장한다.

• 휴대성 (Portability): 동일한 5단계 알고리즘이 단일 회차, 다회차, 적대적 레짐 전반에서 안정적이고 해석 가능한 분류 체계를 생성한다. 저자들은 클러스터 수와 차원이 다르기 때문에 실루엣 점수(0.12, 0.92, 0.71)는 달라질 수 있지만, 질적 일관성과 다운스트림 유용성(높은 $\tau$ 및 AUC)은 일관되게 유지된다고 강조한다.
• 효율성 (Efficiency): 이 방법론은 효율적인 구조적 진단을 가능하게 한다. 실무자들은 약 50개의 분류 체계 조건부 태스크를 평가함으로써 높은 충실도로 약점 프로필을 복구($\tau=0.81$)하거나, 교차 모델 예측(AUC 0.88)을 통해 평가 없이 프로필을 예측할 수 있다.
• 숨겨진 패턴의 발견 (Discovery of Hidden Patterns): 이 접근 방식은 단일 벤치마크 분석으로는 보이지 않는 실패 모드, 예를 들어 다회차 대화에서의 깊이 의존적 보편적 붕괴나 특정 적대적 맥락에서의 LLM 판사의 불신뢰성을 밝혀낸다.

5. 한계 및 범위

저자들은 다음과 같이 주장의 범위를 제한적으로 유지한다:

• 외삽 (Extrapolation): LOMO 검증은 동일한 능력 범위 내의 모델들에 대해 유효하다. 7B–70B 모델로 구축된 분류 체계가 재구축 없이 GPT-5급의 훨씬 강력한 시스템으로 전이될 것이라고 주장하지 않는다.
• 데이터 희소성 (Data Sparsity): 방법론은 누락된 벤치마크 데이터에 대한 보정에 의존하며, 더 풍부한 평가 데이터가 클러스터링 품질을 개선할 수 있다.
• 레이블링의 주관성 (Labeling Subjectivity): 클러스터 레이블은 LLM에 의해 생성된다. 구조는 견고하지만, 구체적인 실패 모드 레이블(예: 추론 vs 지식 격차)은 모호할 수 있다.
• 범위 (Scope): 단일 회차 코퍼스는 멀티모달 추론이나 롱 컨텍스트 태스크를 다루지 않지만, 다회차 케이스 스터디가 이러한 공백의 일부를 메운다.

본 논문은 구조화된 모델 진단 연구를 촉진하기 위해 파이프라인, 세 개의 주석 처리된 코퍼스, 교차 레짐 분류 체계, 그리고 1,203개의 생성된 적대적 태스크를 공개하며 마무리된다.