Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering

1. 문제 정의 (Problem)

소프트웨어 공학 (SE) 분야에서 대규모 언어 모델 (LLM) 은 인간 검토나 실행 가능한 테스트 커버리지가 부족할 때 코드 산출물 (생성, 수정, 테스트 생성 등) 을 평가하는 '심판자 (Judge)'로 널리 사용되고 있습니다. 특히 에이전트 기반 SE 워크플로우에서 후보 솔루션 순위 매기기 및 패치 선택을 안내하는 핵심 역할을 합니다.

그러나 현재 LLM 심판자의 신뢰성과 편향에 대한 체계적인 분석이 부족합니다. 주요 문제는 다음과 같습니다:

• 불안정성: 동일한 사례를 반복 평가할 때 결과가 일치하지 않음 (Test-Retest Reliability 부족).
• 프롬프트 민감성: 프롬프트의 미세한 편집 (예: 순서, 톤, 길이) 만으로도 평가 결과가 극적으로 바뀜.
• 의미 보존적 교란에 대한 취약성: 코드의 기능적 의미는 동일하게 유지되지만, 제시 방식 (Presentation) 이 변하면 심판자의 판단이 달라짐.
• 연구의 타당성 위협: 이러한 편향으로 인해 보고된 성능이 실제 평가 능력보다는 프롬프트의 인공물 (Artifacts) 을 반영할 수 있어, 모델 비교 및 연구 결과의 재현성이 위협받습니다.

2. 방법론 (Methodology)

이 연구는 측정 중심 (Measurement-first) 접근법을 통해 LLM 심판자의 신뢰성과 프롬프트 유발 편향을 분석했습니다.

• 연구 질문 (RQs):
  • RQ1 (편향 테스트): 명시적인 프롬프트 편향이 코드 태스크 및 모델 쌍별 비교 결과에 얼마나 큰 영향을 미치는가?
  • RQ2 (일관성 테스트): 동일한 규칙과 프롬프트 하에서 동일한 사례를 반복 평가할 때 LLM 심판자의 테스트 - 재테스트 신뢰도는 어느 정도인가?
• 데이터셋 및 태스크: CodeJudgeBench 를 기반으로 코드 생성 (CodeGen), 코드 수정 (CodeRepair), 단위 테스트 생성 (TestGen) 의 3 가지 태스크를 사용했습니다. 각 태스크는 난이도 (Easy, Medium, Hard) 로 세분화되었습니다.
• 평가 모델:
  • Qwen3-4B: 오픈 소스 일반 모델 (Self-hosted).
  • Qwen2.5-Coder-3B: 오픈 소스 코드 특화 모델 (Self-hosted).
  • GPT: 폐쇄형 상용 모델 (API-hosted).
• 편향 실험 설계: 총 12 가지 명시적 프롬프트 편향을 주입하여 실험했습니다.
  • 주요 편향 유형: 위치 (Position), 권위 (Authority), 군중 심리 (Bandwagon), 사고 과정 (CoT), 주의 분산 (Distraction), 스타일 (Diversity), 최종 답변 강조 (Final-only), 모델명 노출 (Model-name), 정제됨 (Refined), 자기 강화 (Self-enhance), 감정 (Sentiment), 말장난/장황함 (Verbosity).
• 측정 지표:
  • 정확도 (Accuracy): 금표 (Gold) 정답을 선택한 비율.
  • Robustness Rate: 편향 주입 시 정확도 변화량.
  • 일관성률 (Consistency Rate, CR): 동일한 조건에서 반복 실행 시 동일한 판정을 내린 비율.
  • 답변률 (Answer Rate): 구조화된 A/B 판정을 성공적으로 출력한 비율.

3. 주요 결과 (Key Results)

A. 편향에 대한 민감성 (RQ1)

• 위치 편향 (Position Bias): 모든 모델에서 정답이 A(첫 번째) 에 있을 때보다 B(두 번째) 에 있을 때 정확도가 낮거나 편향의 영향이 다르게 나타나는 등 명확한 순서 의존성을 보였습니다.
• 편향의 양면성:
  • CoT, 권위 (Authority), 정제됨 (Refined), 감정 (Sentiment) 등의 편향은 정답이 A 에 있을 때 정확도를 극적으로 높였으나, 정답이 B 에 있을 때는 정확도를 급격히 떨어뜨렸습니다. 이는 심판자가 코드의 내용보다 제시된 '신호'에 반응함을 의미합니다.
  • 장황함 (Verbosity) 편향은 정반대 효과를 보였습니다. 정답이 B 에 있을 때 정확도를 높이는 경향이 있었습니다.
• 태스크별 차이:
  • CodeRepair: 상대적으로 가장 견고했으나, 편향에 따라 여전히 큰 변동이 있었습니다.
  • TestGen: 가장 편향에 취약한 태스크였습니다. 특히 GPT 모델에서 '주의 분산 (Distraction)' 편향이 정확도를 77.46% 에서 62.51% 로 급락시켰습니다.
• 모델 차이: 오픈 소스 모델 (Qwen) 과 폐쇄형 모델 (GPT) 모두 편향에 민감했으나, Qwen2.5-Coder-3B 는 특정 편향 (감정, 정제됨) 에 대해 A/B 순서에 따라 정확도가 천차만별 (Ceiling vs Floor) 로 변하는 극단적인 양상을 보였습니다.

B. 일관성 및 신뢰성 (RQ2)

• Qwen2.5-Coder-3B: 기본 설정 (No-bias) 에서 일관성률 (CR) 이 매우 낮았습니다 (TestGen 의 경우 약 50% 로 동전 던지기 수준). 그러나 **감정 (Sentiment)**이나 정제됨 (Refined) 같은 편향이 주입되면 CR 이 급격히 상승 (80% 이상) 했습니다. 이는 모델이 실제 코드 평가 능력을 포기하고 편향된 신호에 '앵커링 (Anchoring)'하여 일관되게 잘못된 결정을 내리는 위험한 상태를 의미합니다.
• GPT: 기본 일관성이 높았으나, TestGen 과 같은 복잡한 태스크에서 편향이 주입되면 일관성은 유지되더라도 정확도가 떨어지는 '잘못된 일관성'이 관찰되었습니다.

C. 답변률 (Answer Rate) 의 중요성

• Qwen2.5-Coder-3B: 약 99% 의 높은 답변률을 보이며 구조화된 A/B 판정을 잘 수행했습니다.
• Qwen3-4B (일반 모델): 답변률이 약 44% 로 매우 낮았습니다. 나머지 경우 컨텍스트 한계에 도달할 때까지 자유 형식 텍스트를 생성하거나 판정을 내리지 못했습니다. 이는 정확도 계산 시 '답변하지 않은 경우'를 제외하면 편향된 성능 지표만 보고하게 되어 실제 신뢰성을 과장할 수 있음을 시사합니다.

4. 주요 기여 (Key Contributions)

1. 코드 평가용 편향 테스트 스위트 개발: 코드 태스크에 특화된 12 가지 프롬프트 편향을 정의하고, 이를 통해 심판자의 왜곡 정도를 정량화하는 'Robustness Rate'를 제안했습니다.
2. 코드 심판의 일관성 정량화: 동일한 조건에서의 반복 평가 일관성 (Test-Retest Reliability) 을 측정하는 프레임워크를 제시하여, LLM 심판의 안정성을 평가하는 기준을 마련했습니다.
3. 편향과 정확도의 상관관계 규명: 편향이 정답 위치와 일치할 때는 정확도를 높이지만, 불일치할 때는 성능을 붕괴시킨다는 사실을 실험적으로 증명했습니다. 이는 보고된 성능이 실제 능력보다는 프롬프트 구성에 의존할 수 있음을 경고합니다.
4. 실무적 가이드라인 제시: 심판자 기반 파이프라인의 신뢰성을 높이기 위한 구체적인 방안 (A/B 순서 교환, 편향 제어 실험, 답변률 모니터링 등) 을 제시했습니다.

5. 의의 및 시사점 (Significance)

• 연구 방법론의 변화: LLM-as-a-Judge 연구는 단순히 정확도 (Accuracy) 만 보고하는 것을 넘어, **편향 민감도 (Bias Sensitivity)**와 **일관성 (Consistency)**을 반드시 함께 보고해야 함을 강조합니다.
• 소프트웨어 공학 실무: 에이전트 워크플로우에서 LLM 심판자의 결정을 맹신하기 전에, 난이도에 따른 신뢰도 스코어를 확인하고, 불확실성이 높은 경우 컴파일, 정적 분석, 인간 검토 등으로 에스컬레이션 (Escalation) 하는 프로토콜이 필요합니다.
• 편향의 구조적 이해: 편향은 단순한 노이즈가 아니라, 심판 모델이 콘텐츠의 의미보다 제시 방식 (Presentation) 에 반응하는 구조적 결함임을 보여주었습니다. 이는 향후 더 견고한 심판 모델 설계 및 프롬프트 엔지니어링의 방향성을 제시합니다.

결론적으로, 이 논문은 LLM 을 코드 평가자로 사용할 때 "프롬프트의 인공물"이 실제 성능을 왜곡할 수 있음을 경고하며, 신뢰할 수 있는 평가를 위해서는 통제된 편향 실험과 반복 측정이 필수적임을 역설합니다.