🤖 AI

SemLoc: Structured Grounding of Free-Form LLM Reasoning for Fault Localization

이 논문은 실행 경로가 동일한 의미적 버그를 효과적으로 탐지하기 위해 자유 형식의 LLM 추론을 구조화된 중간 표현으로 변환하고, 이를 기반으로 실행된 프로그램의 의미적 위반 스펙트럼과 반사실적 검증을 결합하여 기존 방법론보다 뛰어난 정확도로 결함 위치를 식별하는 'SemLoc' 프레임워크를 제안합니다.

원저자: Zhaorui Yang, Haichao Zhu, Qian Zhang, Rajiv Gupta, Ashish Kundu

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaorui Yang, Haichao Zhu, Qian Zhang, Rajiv Gupta, Ashish Kundu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🕵️‍♂️ 문제: "왜 버그를 못 찾나요?"

소프트웨어 개발에서 가장 귀찮은 일은 버그 (오류) 가 어디서 발생했는지 찾는 것입니다.

기존의 기술들은 **"누가 범죄 현장에 있었는지"**를 추적했습니다.

비유: 경찰이 범인을 잡으러 갈 때, "범인 A 는 오후 2 시에 은행에 있었고, 범인 B 는 오후 3 시에 커피숍에 있었다"는 **동선 (실행 경로)**만 봅니다.
한계: 하지만 어떤 범죄는 동선이 완전히 똑같아도 범인이 저지른 행위의 의미가 다를 때 발생합니다.
- 예: 두 사람이 똑같은 길을 걸어 같은 가게에 들어갔습니다. 한 사람은 정상적으로 물건을 샀고, 다른 사람은 물건을 훔쳤습니다.
- 기존 기술은 "둘 다 같은 길을 갔으니 둘 다 용의자다"라고 말하며, **전체 길 (코드 전체)**을 다 조사해야 합니다. 이는 시간이 너무 오래 걸립니다.

이런 버그를 **'의미적 버그 (Semantic Bug)'**라고 합니다. 코드는 똑같이 실행되지만, 계산 결과나 데이터의 의미가 틀린 경우죠.

💡 해결책: SEMLOC (의미를 추적하는 새로운 탐정)

이 논문이 제안한 SEMLOC은 단순히 "누가 어디에 있었는지"가 아니라, **"그 사람이 한 행동이 규칙에 맞았는지"**를 따져봅니다.

1. 단계 1: 인공지능에게 "규칙"을 물어보다 (구조화된 의미 정립)

기존 AI 는 "버그가 여기 있을 것 같아"라고 막연하게 추측합니다. 하지만 SEMLOC 은 AI 에게 **"이 프로그램이 지켜야 할 규칙은 뭐야?"**라고 구체적으로 묻습니다.

비유: AI 가 "이 식당은 '손님이 오면 반드시 메뉴판을 보여줘야 한다'는 규칙이 있어야 한다"고 추측합니다.
핵심: AI 가 추측한 이 규칙을 **검증 가능한 형식 (Intermediate Representation)**으로 바꿉니다. 즉, "손님이 오면 메뉴판이 보여야 한다"는 말을 컴퓨터가 직접 실행해 볼 수 있는 체크리스트로 만드는 것입니다.

2. 단계 2: 규칙 위반 대시보드 만들기 (의미 스펙트럼 분석)

이제 프로그램을 여러 번 실행해 봅니다.

정상적인 테스트 (Pass): 규칙을 모두 지켰습니다.
버그가 있는 테스트 (Fail): 규칙 중 하나가 깨졌습니다.

SEMLOC 은 **"어떤 규칙이 깨졌는지"**를 기록합니다.

비유: "A 라는 규칙은 모든 실행에서 잘 지켰지만, B 라는 규칙 (예: '가격은 0 보다 커야 한다') 은 실패한 경우에만 깨졌다"는 것을 발견합니다.
이때 깨진 규칙이 발생한 정확한 코드 줄을 의심스러운 곳으로 표시합니다.

3. 단계 3: "만약에..." 시뮬레이션 (반사실적 검증)

여기서 중요한 단계가 있습니다. 깨진 규칙이 진짜 원인인지, 아니면 그냥 결과물인지 구별해야 합니다.

비유: "만약 이 사람이 메뉴판을 안 보여준 게 아니라, 가게 문을 닫은 게 문제였다면?"이라고 가정해 봅니다.
AI 가 "이 줄을 고치면 모든 문제가 해결될까?"라고 가상의 수정을 시도해 봅니다.
- 해결됨: "아하! 이 줄이 진짜 범인이야!" (주요 원인)
- 해결 안 됨: "아니, 이건 그냥 결과일 뿐이야. 진짜 범인은 저기 있어." (2 차 증상)

이 과정을 통해 **진짜 원인 (Root Cause)**만 골라냅니다.

🏆 결과: 얼마나 잘 작동할까요?

이 방법을 250 개의 실제 Python 프로그램에 적용해 보았습니다.

기존 방식: 코드 전체의 **43%**를 의심하며 다 찾아봐야 함. (버그를 찾는 정확도 6.4%)
SEMLOC: 의심스러운 코드를 **7.6%**로 줄임. (버그를 찾는 정확도 42.8% 로 대폭 향상!)
효과: 개발자가 확인해야 할 코드가 약 6 배나 줄어든 것입니다.

📝 한 줄 요약

기존 기술은 "누가 그 자리에 있었는지"만 보고 범인을 잡으려다 실패하지만, SEMLOC 은 "그 사람이 어떤 규칙을 어겼는지"를 AI 가 찾아내고, 컴퓨터가 직접 그 규칙을 검증하여 진짜 범인 (버그) 을 정확히 찾아냅니다.

이 기술은 AI 가 단순히 "추측"만 하는 것이 아니라, 검증 가능한 증거를 만들어 개발자를 도와준다는 점에서 매우 혁신적입니다.

1. 문제 정의 (Problem)

소프트웨어 결함 (Bug) 을 찾는 과정인 **결함 위치 특정 (Fault Localization)**은 소프트웨어 신뢰성과 개발자 생산성의 핵심입니다. 기존 기술들은 주로 **구문적 스펙트럼 (Syntactic Spectra)**에 의존합니다.

기존 접근법의 한계: 기존 기법 (SBFL 등) 은 실행 구조 (커버리지, 제어 흐름, 의존성) 에서 파생된 신호를 사용하여 의심스러운 코드를 순위 매깁니다.
시맨틱 버그의 등장: AI 및 복잡한 로직의 증가로 인해, 통과 (Passing) 와 실패 (Failing) 테스트가 동일한 코드 경로를 실행하지만 **의미적 의도 (Semantic Intent)**만 다른 경우 (예: 수치적 불변성 위반, 관계 제약 조건 오류) 가 빈번해졌습니다.
LLM 기반 접근법의 결함: 최근 LLM 을 활용한 방법들은 의미적 추론을 도입했으나, 그 출력은 **확률적 (Stochastic)**이고 검증 불가능합니다. 실행 증거와 체계적으로 대조되지 않으며, 1 차 원인 (Root Cause) 과 2 차 증상 (Cascading Symptoms) 을 구분하지 못합니다.

따라서, LLM 이 추론한 의미적 지식을 실행 가능하고 검증 가능한 증거로 변환하여, 시맨틱 버그를 정밀하게 위치 특정할 수 있는 프레임워크가 필요합니다.

2. 방법론 (Methodology)

저자들은 SEMLOC이라는 새로운 프레임워크를 제안합니다. 이는 LLM 의 자유 형식 추론을 **구조화된 시맨틱 그라운딩 (Structured Semantic Grounding)**을 통해 실행 가능한 중간 표현으로 변환하고, 이를 런타임에서 검증하는 4 단계 파이프라인을 따릅니다.

2.1. 구조적 시맨틱 그라운딩 (Structured Semantic Grounding)

목표: LLM 이 추론한 시맨틱 속성을 구체적인 프로그램 위치 (Typed Program Anchor) 에 바인딩하여 실행 가능하게 만듭니다.
구현:
- Tree-sitter 및 SSA 변환: AST 를 파싱하여 변수 정의 - 사용 (Def-Use) 체인을 명확히 하고, SSA(Static Single Assignment) 형태로 변환합니다. 이를 통해 변수의 버전 (예: x__1, x__2) 을 명확히 구분합니다.
- cbfl-ir (Closed Intermediate Representation): LLM 에게 JSON 형식의 구조화된 스키마를 요구하여, 제약 조건을 카테고리 (PRECONDITION, POSTCONDITION, VALUE_RANGE 등), 인스트루먼트 영역 (ENTRY, AFTER_DEF 등), 그리고 SSA 기반의 정확한 애너커 (Anchor) 와 함께 생성하게 합니다. 이는 LLM 의 자유로운 추론을 제한된 검색 공간으로 유도하여 검증 가능성을 높입니다.

2.2. 시맨틱 스펙트럼 분석 (Semantic Spectrum Analysis)

인스트루멘테이션: 생성된 제약 조건을 프로그램에 주입 (Instrumentation) 하여 통과/실패 테스트 세트를 실행합니다.
위반 매트릭스 구성: 각 테스트에서 어떤 제약 조건이 위반되었는지를 나타내는 이진 행렬 (Constraint-by-Test Violation Matrix) 을 생성합니다.
순위 매기기: 기존 SBFL 의 Ochiai 계수나 Tarantula 알고리즘과 유사하게, 위반 패턴을 기반으로 의심스러운 문장의 점수를 계산합니다.
- 수식: $\sigma(C_j) = \frac{e^f_j}{\sqrt{|T^-| \cdot (e^f_j + e^p_j)}}$
- 여기서 $e^f_j$ 는 실패 테스트에서의 위반 횟수, $e^p_j$ 는 통과 테스트에서의 위반 횟수입니다.

2.3. 반사실적 검증 (Counterfactual Verification)

목적: 시맨틱 스펙트럼 분석에서 발생할 수 있는 **과대 추정 (Over-approximation, 통과/실패 모두 위반)**이나 **연쇄적 증상 (Cascading Effects)**을 제거하여 1 차 원인을 식별합니다.
프로세스:
1. 과대 추정 감지: 통과 테스트에서도 위반된 제약 조건은 즉시 제외합니다.
2. 패치 생성 및 재실행: 의심스러운 제약 조건에 대해 LLM 이 최소한의 수정 패치 (Counterfactual Patch) 를 생성합니다.
3. 인과성 분류: 수정된 코드로 테스트를 재실행하여 결과를 분석합니다.
  - Primary (1 차 원인): 모든 실패 테스트가 통과됨 $\rightarrow$ 루트 원인.
  - Secondary (2 차 원인): 일부만 해결됨 $\rightarrow$ 연쇄적 효과.
  - Irrelevant (무관): 변화 없음 $\rightarrow$ 제거.
결과: 최종적으로 1 차 원인으로 분류된 제약 조건이 속한 문장만 순위 상단에 배치됩니다.

3. 주요 기여 (Key Contributions)

구조화된 시맨틱 그라운딩 프레임워크: LLM 의 추론을 실행 가능하고, 프로그램 구조에 바인딩되며, 런타임에서 검증 가능한 증거 (Executable Evidence) 로 변환하는 새로운 패러다임을 제시합니다.
SEMLOC 시스템 구현:
- Tree-sitter 기반의 경량 SSA 변환 및 애너커 추출.
- LLM 기반 제약 조건 추론 및 cbfl-ir 생성.
- pytest 통합 런타임 및 시맨틱 위반 수집.
- 반사실적 검증을 통한 인과적 정제.
새로운 벤치마크 (SemFault-250): 실제 리포지토리 (Apache Fineract, Redis 등) 와 기존 벤치마크에서 추출한 250 개의 파이썬 프로그램으로 구성된 평가 코퍼스. 이 데이터셋은 실행 구조는 동일하지만 시맨틱 의도가 위반되는 단일 결함을 포함합니다.

4. 실험 결과 (Results)

SemFault-250 벤치마크에서 SEMLOC 은 기존 기법들과 비교하여 압도적인 성능을 보였습니다.

성능 지표 (Claude Sonnet 4.6 사용 시):
- Top-1 정확도 (Acc@1): 42.8% (기존 SBFL-Ochiai 의 6.4% 대비 대폭 향상).
- Top-3 정확도 (Acc@3): 68.0%.
- 검사 노력 (%Susp): 실행 가능한 코드 라인 중 **7.6%**만 의심 대상으로 표시 (SBFL 대비 5.7 배 감소).
- 중위 순위 (Median Rank): 2 위 (SBFL 은 8 위).
비교 분석:
- SBFL (Spectrum-based): 시맨틱 버그에서는 실행 경로가 동일하여 커버리지 신호가 무의미해져 성능이 극도로 낮음 (Acc@1 6.4%).
- Delta Debugging: 0.0% 정확도. 실패를 유지하는 최소 집합을 찾지만, 그 집합 내에서의 정확한 위치 특정이 불가능함.
- LLM 직접 예측 (SEMLOC †): 시맨틱 인덱싱 없이 LLM 이 직접 결함 라인을 예측하는 경우, Acc@1 은 37.6% 까지 나오지만 Acc@3 에서 정체됨. 이는 실행 가능한 제약 조건과 반사실적 검증이 1 차 추측을 넘어선 정확한 순위 매기기에 필수적임을 보여줍니다.
- 반사실적 검증의 효과: 검증 단계를 제거한 SEMLOC + (30.8% Acc@1) 와 비교할 때, 검증 단계는 Acc@1 을 12.0%p 향상시켜 인과적 추론의 중요성을 입증했습니다.
실제 리포지토리 적용 (RQ3):
- youtube-dl 등 실제 프로젝트 (BugsInPy) 에서 AutoFL(함수 단위) 과 결합하여 적용한 결과, Acc@1 57.1%, Acc@3 85.7% 를 달성하며 실제 환경에서의 실용성을 입증했습니다.

5. 의의 및 결론 (Significance)

패러다임 전환: 결함 위치 특정을 단순한 "구문적 실행 신호" 분석에서 "시맨틱 위반 스펙트럼" 분석으로 전환했습니다.
검증 가능성: LLM 의 "블랙박스" 추론을 구조화된 중간 표현과 런타임 검증을 통해 검증 가능하고 설명 가능한 (Explainable) 증거로 변환했습니다.
정밀도 향상: 시맨틱 의도가 위반되는 지점을 정확히 포착하여, 기존 기술이 놓치던 복잡한 논리 오류를 정밀하게 찾아냅니다.
미래 방향: 학습된 제약 조건, 도메인 명세, 교차 실행 관계 등 더 풍부한 시맨틱 신호를 활용할 수 있는 새로운 시맨틱 인식 (Semantic-aware) 위치 특정 기술의 기초를 마련했습니다.

요약하자면, SEMLOC은 LLM 의 추론 능력을 활용하되, 이를 실행 가능한 제약 조건으로 구체화하고 반사실적 검증을 통해 인과관계를 입증함으로써, 기존 기술이 실패하는 시맨틱 버그에 대해 혁신적인 정확도와 효율성을 달성한 프레임워크입니다.