Security in LLM-as-a-Judge: A Comprehensive SoK

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 이 다른 모델이나 시스템의 생성된 출력물을 평가하는 'LLM-as-a-Judge (LaaJ)' 패러다임이 벤치마킹, 강화학습, 자동 평가 시스템 등에서 널리 채택되고 있습니다. 그러나 LaaJ 는 확장성과 효율성을 제공함과 동시에 다음과 같은 심각한 보안 및 신뢰성 위협을 초래합니다.

• 적대적 조작의 표적: LaaJ 시스템 자체가 프롬프트 주입 (Prompt Injection), 백도어 공격, 토큰 조작 등을 통해 조작될 수 있어 평가 결과가 왜곡될 수 있습니다.
• 공격 도구로서의 악용: LaaJ 가 악성 행위를 수행하거나 다른 시스템을 공격하는 데 활용될 수 있습니다 (예: 백도어 공격 최적화).
• 편향과 신뢰성 결여: 위치 편향 (Position Bias), 길이 편향 (Length Bias), 스타일 편향 등으로 인해 객관적인 평가가 어렵고, 이러한 편향이 악용될 경우 평가 파이프라인의 무결성이 훼손됩니다.
• 연구 공백: 기존 연구들은 LaaJ 의 기능과 방법론에 집중했으나, 보안 측면 (공격 벡터, 방어 전략, 적대적 견고성) 에 대한 체계적인 분석은 부재했습니다.

2. 방법론 (Methodology)

이 논문은 LaaJ 의 보안 측면을 체계화하기 위해 다음과 같은 방법론을 적용했습니다.

• 포괄적인 문헌 검토: Google Scholar, IEEE Xplore, ACM Digital Library 등 주요 학술 데이터베이스를 검색하여 2020 년부터 2026 년까지의 863 건의 논문을 분석했습니다.
• 선정 기준: Q1 저널 및 A*/A 등급 컨퍼런스 논문을 우선시하며, 중복 및 비영어권 논문은 제외했습니다. 또한, 5,000 회 이상의 인용 이력이 있는 저자가 참여한 arXiv 프리프린트 45 건을 포함하여 최신 동향을 반영했습니다.
• 분류 체계 (Taxonomy) 구축: LaaJ 가 보안 환경에서 수행하는 역할에 따라 기존 문헌을 5 가지 주요 관점으로 분류하는 새로운 분류 체계를 제안했습니다.

3. 주요 기여 (Key Contributions)

이 논문은 LaaJ 보안 분야에서 다음과 같은 주요 기여를 했습니다.

1. 첫 번째 포괄적인 보안 개요: LaaJ 를 표적으로 하는 공격, LaaJ 를 통한 공격, LaaJ 를 활용한 방어, 그리고 보안 관련 평가 전략으로서의 LaaJ 사용 등 네 가지 영역을 아우르는 최초의 체계적인 분석을 제공합니다.
2. 새로운 분류 체계 (Taxonomy) 제안: LaaJ 의 역할을 다음과 같이 구분합니다.
   • 공격 대상 (Target): LaaJ 시스템이 조작당하는 경우 (프롬프트 주입, 백도어, 루브릭 조작 등).
   • 공격 도구 (Instrument): LaaJ 가 악성 활동을 수행하는 데 사용되는 경우 (예: 컨텍스트 백도어 공격 최적화).
   • 방어 수단 (Defense): LaaJ 를 보안 위협 탐지 및 분석 도구로 활용하는 경우.
   • 평가 대상 (Evaluation Target): LaaJ 시스템 자체의 견고성과 편향을 평가하는 연구.
   • 보안 평가 전략 (Evaluation Strategy): 보안 관련 응용 분야 (코드 리뷰, 침입 탐지 등) 에서 LaaJ 를 평가 도구로 사용하는 경우.
3. 비교 분석 및 한계점 도출: 선정된 45 편의 연구를 비교 분석하여 현재 기술의 한계, 새로운 위협, 그리고 해결되지 않은 연구 과제를 명확히 제시했습니다.
4. 미래 연구 방향 제시: LaaJ 시스템의 견고성, 신뢰성, 신뢰성을 높이기 위한 핵심 연구 기회와 방향성을 제시했습니다.

4. 주요 결과 및 발견 (Key Results & Findings)

A. 공격 측면 (Threat Landscape)

• 훈련 시간 공격 (Training-time Attacks):
  • 백도어 및 데이터 오염: LaaJ 의 학습 데이터 1% 만 오염시켜도 적대적 점수가 3 배 이상 증가하거나 안전 필터가 독성 콘텐츠를 83.9% 의 확률로 안전하다고 잘못 판단하게 만들 수 있음 (BadJudge 연구).
  • 루브릭 조작 (Rubric Manipulation): 모델 파라미터 접근 없이 자연어 평가 기준 (Rubric) 만을 미세하게 수정하여 LaaJ 의 선호도를 인간 기준에서 벗어나게 유도할 수 있음 (RIPD 공격). 이는 하류의 선호도 학습 (DPO 등) 에 영구적인 편향을 초래함.
• 추론 시간 공격 (Inference-time Attacks):
  • 프롬프트 주입: 짧은 범용 적대적 구문이나 최적화된 주입을 통해 LaaJ 를 속여 원하는 평가를 받음 (JudgeDeceiver 등). 오픈소스 모델이 상용 모델보다 취약하며, 공격이 모델 간 전이 (Transferability) 가 잘 됨.
  • 토큰/표면 조작: 이모지 삽입이나 특수 기호를 이용해 토큰 분할 (Tokenization) 을 왜곡하여 안전성 검출률을 12% 이상 감소시킴 (Emoji Attack).
  • 마스터 키 (Master Keys): "Thought process:"와 같은 단순한 문구나 구두점만으로도 80~90% 의 확률로 잘못된 긍정적 보상을 유도할 수 있음.

B. 방어 및 완화 전략 (Defenses)

• 자동화된 판단 감지: LLM 이 생성한 평가 점수와 인간 평가의 패턴 차이를 분석하여 자동화된 판단을 탐지하는 프레임워크 (J-Detector) 가 제안됨.
• 오용 모니터링: LLM 생태계 내의 악성 에이전트나 정책 위반 행위를 LaaJ 를 통해 자동으로 탐지하고 분류하는 시스템 (GPTracker) 이 개발됨.
• 설명 가능한 보안 분석: 취약점 탐지에 LLM 을 사용하면서 그 근거를 설명하는 프레임워크 (LLMVulExp) 를 통해 투명성과 책임성을 확보하려는 시도가 이루어짐.

C. 보안 평가에서의 LaaJ 활용

• 공격 탐지: LaaJ 가 네트워크 침입, 악성 패키지, XSS/SQLi 공격 등을 문맥적으로 분석하고 설명 가능한 보고서를 생성하는 데 활용됨.
• 소프트웨어 공학: 코드 리뷰, 패치 유효성 평가, 취약점 탐지, AI 생성 코드 식별 등에서 LaaJ 가 인간 전문가를 보조하거나 대체하는 도구로 사용됨.
• 편향 문제: LaaJ 는 위치 편향, 길이 편향, 자기 향상 편향 등을 보이며, 이러한 편향이 보안 평가의 공정성을 해칠 수 있음.

5. 의의 및 중요성 (Significance)

• 보안 공백의 해소: LaaJ 가 AI 평가의 표준으로 자리 잡음에 따라, 이를 공격하거나 악용하는 새로운 위협에 대한 체계적인 이해가 시급한 시점에서, 이 논문은 해당 분야의 첫 번째 포괄적인 지식 체계 (SoK) 를 제공했습니다.
• 신뢰성 있는 AI 생태계 구축: LaaJ 시스템의 취약점이 실제 산업 (금융, 의료, 소프트웨어 개발 등) 에 심각한 영향을 미칠 수 있음을 경고하며, 견고한 방어 메커니즘과 표준화된 평가 방법론의 필요성을 강조했습니다.
• 연구 방향 제시: 단순한 성능 평가를 넘어, LaaJ 시스템 자체의 보안 (Adversarial Robustness) 과 편향 제거를 위한 구체적인 연구 과제를 제시함으로써, 향후 더 안전하고 신뢰할 수 있는 LLM 기반 평가 시스템 개발의 길잡이가 됩니다.

결론적으로, 이 논문은 LaaJ 가 가진 혁신적인 잠재력을 인정하면서도, 이를 보안 위협의 표적이자 도구로 악용될 수 있는 취약점을 명확히 규명하고, 이를 해결하기 위한 기술적, 방법론적 방향을 제시한 중요한 연구입니다.