기술 요약: 소프트웨어 공학 최적화에서의 모델 불안정성

1. 문제 정의

소프트웨어 분석에서 동일한 데이터에 대해 동일한 분석을 반복 실행하더라도 서로 다른 모델과 결론이 도출되는 경우가 빈번하다. **모델 불안정성(model instability)**이라 불리는 이 현상은 소프트웨어 공학(SE) 도구에 대한 신뢰를 저해하고 실질적인 도입을 제한한다. 기존 문헌들은 특정 도메인(예: 결함 예측, 텍스트 마이닝, 인과 관계 발견)에서의 불안정성을 언급해 왔으나, 이는 대개 더 많은 데이터나 앙상블 기법으로 해결해야 할 "버그"로 취급되거나, 피할 수 없는 노이즈로 치부되어 왔다.

본 논문은 불안정성이 단순히 용인해야 할 노이즈가 아니라, 측정하고 관리할 수 있는 속성이라고 주장한다. 저자들은 두 가지 유형의 불안정성을 구분한다:

• 구조적 불안정성 (Structural Instability): 모델의 형태, 사용된 특징(feature), 트리 토폴로지의 변화 (예: 동일한 데이터로부터 생성된 서로 다른 결정 트리).
• 성능 불안정성 (Performance Instability): 모델이 생성하는 결과물이나 권장 사항의 변화 (예: 서로 다른 예측 최적 구성).

본 논문은 구조적 불안정성이 데이터의 근본적인 특성(동일한 데이터를 잘 설명하는 서로 다른 모델이 다수 존재하는 '라쇼몽 효과(Rashomon Effect)')이며, 이는 줄일 수 없는 불가피한 것일 수 있다고 상정한다. 그러나 실무자에게 중요한 문제는 성능 불안정성이다. 이는 단 한 번의 최적화 실행 결과가 신뢰할 수 있는 권장 사항을 제공할 수 있는지 여부를 결정하기 때문이다.

2. 연구 방법론

본 연구는 127개의 다목적 소프트웨어 공학 최적화 문제 모음인 MOOT 저장소를 사용하여 대규모 경험적 접근 방식을 채택하였다.

데이터 및 범위

• 데이터셋: 소프트웨어 구성, 프로젝트 건전성, 결함 예측, 테스트, 행동 분석을 아우르는 127개의 데이터셋.
• 규모: 모든 데이터셋에 걸친 12,700개의 홀드아웃(held-out) 테스트 케이스.
• 학습기 (Learner): 주요 학습기는 EZR로, 제한된 레이블링 예산 내에서 결정 트리를 구축하는 최첨단 능동 학습(active-learning) 최적화 도구이다.
• 실험 설계: 변동성을 측정하기 위해 각 구성을 서로 다른 무작위 시드(random seed)를 사용하여 20회 반복 수행하였다.

지표

1. 성능 안정성 (Performance Stability): 일치율(agreement rate, 20회의 반복 실행이 충분히 유사한 예측을 생성하는 테스트 케이스의 비율)과 최적화 오차의 표준 편차(distance-to-heaven)로 측정한다.
2. 구조적 안정성 (Structural Stability): 결정 트리의 깊이에 따라 특징에 가중치를 부여한 가중 자카드 유사도(weighted Jaccard similarity)를 사용하여 측정한다.
3. 최적화 품질 (Optimization Quality): "distance-to-heaven" (d2h) 및 데이터셋 전반의 통계적 상위 순위 횟수를 통해 평가한다.

개입 요소 (Interventions)

저자들은 불안정성에 미치는 영향을 결정하기 위해 여섯 가지 요인을 체계적으로 테스트하였다:

1. 레이블링 예산 (Labeling Budget): 사용 가능한 레이블링된 사례의 수 (10개에서 200개).
2. 획득 전략 (Acquisition Strategy): 다음에 레이블링할 데이터를 선택하는 규칙 (예: near, Xplor, Xploit, adapt).
3. 모델 복잡도 (Model Complexity): 결정 트리의 최소 리프 크기.
4. 분할 기준 (Splitting Criterion): 엔트로피(Entropy) vs 지니 불순도(Gini impurity).
5. 인과 관계 기반 개입 (Causal-Inspired Interventions): 교란 요인 필터링(confounder filtering) 및 이득비 분할(Gain-Ratio splitting).
6. 데이터 지역성 (Data Locality): 모델링 전 이질적인 데이터를 분할하기 위한 클러스터링 (KMeans, HDBSCAN, CURE).

3. 주요 기여 및 결과

RQ0: 성능 불안정성의 보편성

기본 설정 하에서, 최적화 도구의 반복 실행 간 일치율은 단 2.9%(12,700개 중 364개)에 불과했다. 매우 관대한 임계값을 적용하더라도 일치율은 31.7%를 넘지 못했다. 이는 성능 불안정성이 예외적인 상황이 아닌 일반적인 현상임을 확인시켜 주며, 단일 실행에 의한 권장 사항을 신뢰할 수 없게 만든다.

RQ1: 불안정성의 본질 (구조적 vs 성능)

연구 결과, 구조적 불안정성과 성능 불안정성은 **서로 분리(decoupled)**되어 있음이 밝혀졌다.

• 발견: 성능 안정성을 극적으로 개선한(일치율을 2.9%에서 13.7%로 증가시킨) 구성 변경이 구조적 유사성에는 거의 영향을 미치지 않았다. 트리는 여전히 구조적으로 다양했다.
• 시사점: 실무자는 매번 동일한 모델 구조를 기대해서는 안 된다. 신뢰는 동일한 모델 형태가 아니라 일관된 권장 사항에 기반해야 한다. 구조적 불안정성은 라쇼몽 효과로 인해 상당 부분 줄일 수 없는 속성이다.

RQ2: 동인 및 해결책

저자들은 성능 불안정성을 유발하는 네 가지 핵심 구성 요인을 식출하였으며, 품질을 희생하지 않으면서 안정성을 개선하는 **정제된 구성(refined configuration)**을 제안하였다:

1. 레이블링 예산: 레이블을 20개에서 50개로 늘리면 안정성이 향상되었으나, 50개를 초과하면 이득이 포화되었다.
2. 획득 전략: Xploit(탐욕적 방식)에서 near(현재 최적 중심점에 가장 가까운 후보를 선택)로 전환했을 때 가장 유의미한 안정성 이득을 얻었으며(상위 순위 안정성이 50% 미만에서 80% 이상으로 증가), 비용 발생도 없었다.
3. 모델 복잡도: 최소 리프 크기를 3으로 설정했을 때 안정성, 성능, 해석 가능성 사이의 최적의 균형을 제공했다.
4. 분할 기준: 엔트로피에서 지니 불순도로 전환하는 것은 타이트한 예산 하에서 희귀 사건에 민감한 엔트로피의 단점을 보완하여 안정성 측면에서 "공짜 이득(free win)"을 제공했다.

정제된 구성의 결과:

• 일치율: 2.9%에서 **13.7%**로 증가 (4.8배 개선).
• 오차 분산: 최적화 오차의 표준 편차를 22% 감소시킴 (평균 표준 편차 17.4에서 13.6으로 감소).
• 품질: 정제된 설정은 기본 설정이 74개였던 것에 비해, 127개 중 119개의 데이터셋에서 통계적으로 상위 순위의 최적화 품질을 달면했다.

RQ3: 안정성의 한계

연구는 남은 불안정성이 학습기 때문인지 아니면 데이터 때문인지 조사하였다.

• 인과적 개입: 교란 요인 필터와 인과 추론을 추가하는 것은 교란된 특징이 불안정성을 유발하는 특정 데이터셋에서는 도움이 되었으나, 전반적인 글로벌 개선 효과는 없었다.
• 데이터 지역성: 클러스터링 방식(가장 안정적인 모델 군)조차도 50% 미만의 테스트 케이스에서만 일치하였다.
• 결론: 데이터 자체에 의해 결정되는 **"안정성 하한선(stability floor)"**이 존재한다(노이즈, 부족한 레이블, 대리 목적 함수, 그리고 다수의 유사한 모델 존재 등). 어떤 학습기 측면의 개입도 이 잔여 불안정성을 완전히 제거할 수는 없다.

4. 의의 및 주장

본 논문은 모델 불안정성이 성능 지표와 함께 정기적으로 측정되고 보고되어야 하는 **표준 평가 축(standard evaluation axis)**으로 취급되어야 한다고 주장한다.

• 목표의 재설정: 목표는 반복 실행이 동일한 트리를 생성하도록 강제하는 것이 아니라(라쇼몽 효과로 인해 종종 불가능함), 일관된 권장 사항을 생성하도록 보장하는 것이다.
• 실행 가능한 기준점: 제안된 정제된 설정(50개 레이블, near 획득, 최소 리프=3, Gini 분할)은 향 \후 SBSE 불안정성을 줄이려는 노력들을 평가할 수 있는 기준을 제공한다.
• 실무적 지침:
  1. SE 도구들은 불안정한 기본값(엔트로피 분할, 탐욕적 획득)에서 벗어나야 한다.
  2. 경험적 논문들은 평균 성능뿐만 아니라, 실행 간의 불일치를 드러내기 위해 일치율(agreement rates)을 반드시 보고해야 한다.
  3. 연구자들은 구조적 안정성 그 자체를 쫓기보다, 불안정성이 여러 원인을 가지고 있으며 단일한 "은탄환(silver bullet)"이 아닌 복합적인 해결책을 필요로 한다는 점을 인식해야 한다.

저자들은 불안정성을 완전히 제거할 수는 없지만, 최적화 도구의 단일 실행 결과에 대해 실무자가 신뢰도를 조절(calibrate)할 수 있는 수준까지는 관리할 수 있다고 결론짓는다.