💻 computer science

Debug Like a Human: Scaling LLM-based Fault Localization to Processor Design via Block-Level Instruction-Oriented Slicing

BluesFL 는 대규모 RISC-V 프로세서 설계에서 최첨단 버그 탐지 정확도와 낮은 비용을 달성하기 위해 LLM 과 인간이 영감을 받은 지시 기반 슬라이싱 알고리즘을 활용하는 새로운 블록 수준 결함 국소화 프레임워크입니다.

원저자: Zizhen Liu, Xiaoguang Mao, Deheng Yang, Jiayu He, Yihao Qin, Guangda Zhang, Yan Lei, Jianjun Xu, Jiang Wu

게시일 2026-05-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zizhen Liu, Xiaoguang Mao, Deheng Yang, Jiayu He, Yihao Qin, Guangda Zhang, Yan Lei, Jianjun Xu, Jiang Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 매우 복잡한 시계 장치 (컴퓨터 프로세서) 가 제대로 작동하지 않아 멈춘 상황을 상상해 보세요. 이 기계는 수백만 개의 작은 gear 와 스프링 (코드 줄) 으로 구성되어 있습니다. 고장이 나면 기계가 단순히 멈추는 것이 아니라, 잘못된 방향으로 gear 를 돌리거나 박자를 놓칠 수도 있습니다.

정확히 어떤 gear 가 고장 났는지 찾는 것은 건초더미에서 바늘을 찾는 것과 같지만, 그 건초더미는 도시 크기이고 바늘은 보이지 않습니다. 이것이 논문 "Debug Like a Human"이 해결하려는 문제입니다.

다음은 지진 류 (Zizhen Liu) 와 그의 팀이 이 문제를 해결하기 위해 개발한 새로운 도구인 BluesFL을 어떻게 구축했는지, 간단히 설명한 것입니다:

문제: 과도한 잡음

현재 엔지니어들이 이러한 거대한 기계에서 버그를 찾으려 할 때 직면하는 네 가지 큰 어려움이 있습니다:

"전체 라이브러리" 문제: 코드가 너무 방대하여 컴퓨터 두뇌 (AI) 에게 전체를 보여주면, AI 는 한 개의 오타를 찾기 위해 백과사전 전체를 읽으려는 학생처럼 압도되고 혼란에 빠집니다.
"혼잡한 방" 문제: 기계는 여러 작업을 동시에 처리합니다. 전통적인 도구는 방 전체를 바라보며 혼란을 일으킨 특정 사람 (명령) 을 식별하지 못합니다.
"안대" 문제: 기존 도구는 코드 구조를 살펴볼 뿐, 기계 내부를 흐르는 실제 숫자와 값을 무시합니다. 이는 엔진 소리를 무시하고 설계도만 보고 자동차 엔진을 수리하려는 것과 같습니다.
"인간" 격차: 인간은 "이 gear 가 잘못되었다면, 다른 gear 가 밀어서 그런 것일 것이다"라는 식으로 단서를 따라가며 버그를 찾는 데 뛰어납니다. 컴퓨터는 이러한 특정 추론 사슬을 모방하는 데 어려움을 겪습니다.

해결책: BluesFL (스마트 탐정)

저자들은 AI 가 인간 엔지니어와 정확히 같은 방식으로 버그를 찾도록 가르치는 BluesFL이라는 시스템을 만들었습니다. 이는 세 가지 영리한 단계로 이루어졌습니다:

1. 건초더미를 관리 가능한 더미로 자르기 (코드 블록화)

AI 에게 19,000 페이지 분량의 매뉴얼 전체를 한 번에 보여주는 대신, 코드를 작고 논리적인 "블록"으로 잘랐습니다.

비유: 기계가 거대한 도시라고 상상해 보세요. 탐정에게 전 세계 지도를 주는 대신, 하나의 동네 지도만 줍니다. 서로 대화하는 모든 거리 (코드 줄) 를 그룹화하여 AI 가 한 번에 하나의 작고 관련 있는 동네에만 집중하도록 합니다.

2. 발자국 추적하기 (명령 지향 슬라이싱)

기계가 실수를 할 때, 그것은 특정 순간에 발생합니다. 저자들은 실패한 특정 명령의 "발자국"을 추적하는 Blues라는 특수 알고리즘을 구축했습니다.

비유: 범죄 현장이라고 상상해 보세요. 탐정이 도시의 모든 사람을 인터뷰하는 대신, "경보가 울린 정확한 순간에 방 안에 있던 사람은 누구인가?"라고 묻습니다. Blues 알고리즘은 실수 발생 시 활성화되었던 특정 gear 와 와이어만의 타임라인을 구축합니다. 그냥 서서 아무것도 하지 않았던 다른 사람들은 무시합니다.

3. 단서 읽기 (신호 값)

이 부분이 가장 인간적입니다. AI 는 코드만 보는 것이 아니라, 충돌이 발생한 순간 와이어를 통해 흐르는 값 (숫자) 을 봅니다.

비유: 인간 정비사는 엔진 소리를 듣습니다. gear 가 분당 100 회 회전해야 하는데 50 회만 회전한다면, 그것은 단서입니다. BluesFL 은 AI 가 기계의 "파형" (심장 박동 기록) 에서 이러한 숫자를 "읽을" 수 있게 합니다. 이를 통해 AI 는 실수가 어디서 발생했는지뿐만 아니라 왜 발생했는지 이해할 수 있습니다.

실제 작동 방식

버그가 발견되면 BluesFL 은 탐정처럼 행동합니다:

"시간 19 에 기계가 잘못된 주소로 점프했다"는 보고서를 받습니다.
Blues 알고리즘을 사용하여 해당 점프와 관련된 코드 블록만의 경로를 구축합니다.
AI 에게 묻습니다: "이 작은 코드 블록을 보세요. 들어오는 숫자들은 여기 있습니다. 이것이 범인처럼 보이나요?"
AI 가 "아마도"라고 답하면, 숫자를 거슬러 올라가 원천을 더 깊이 파헤칩니다.
고장 난 특정 코드 줄을 찾아내고, 가장 유력한 용의자로 순위 매길 때까지 계속 진행합니다.

결과

팀은 오픈 소스 컴퓨터 프로세서 (Ibex RISC-V 코어) 에서 이를 실제로 테스트했습니다.

기존 방식: 기존 최고의 도구들은 100 건 중 약 7 건에서만 고장 난 gear 를 찾을 수 있었습니다.
새로운 방식 (BluesFL): 그들의 시스템은 100 건 중 24 건에서 고장 난 gear 를 찾았습니다 (엄청난 상승!).
비용: 실행 비용도 저렴하여 버그 하나를 찾는 데 약 25 센트에 해당하는 비용이 들었습니다.

결론

이 논문은 AI 에게 작은 관련 코드 조각에 집중하고, 실수의 특정 경로를 따라가며, 관련된 실제 숫자를 읽는 방식으로 인간처럼 생각하게 함으로써, 이전보다 훨씬 빠르고 정확하게 거대한 컴퓨터 프로세서의 버그를 찾을 수 있다고 주장합니다. 이는 AI 를 일반적으로 더 똑똑하게 만드는 것이 아니라, 올바른 지도와 올바른 돋보기를 제공하는 것입니다.

기술 요약: 인간처럼 디버깅하기

문제 제기
현대 프로세서 설계에서 결함 국소화 (Fault Localization, FL) 는 중요한 병목 현상으로, 하드웨어 개발 노력의 약 60% 를 소모합니다. 대규모 언어 모델 (LLM) 은 모듈 수준의 하드웨어 설계에서 유망한 성과를 보여왔으나, 네 가지 특정 한계로 인해 대규모 프로젝트 수준의 프로세서 설계에 적용하는 것은 여전히 어렵습니다:

프로세서 특화 기법의 부재: 기존 FL 방법들은 일반 하드웨어 (예: 메모리 컨트롤러) 를 위해 설계되어 프로세서의 명령어 주도적이고 복잡한 아키텍처 특성을 고려하지 않기 때문에 프로세서에서는 종종 실패합니다.
비효율적인 명령어 커버리지: 전통적인 스펙트럼 기반 방법들은 시뮬레이션 구간에서의 조밀한 커버리지에 의존합니다. 파이프라인 프로세서에서는 명령어가 여러 모듈과 사이클에 걸쳐 있으므로, 이는 "비행 중 (in-flight)" 명령어로 인한 커버리지 오염을 초래하여 정확도를 떨어뜨립니다.
신호 값의 미활용: 현재 하드웨어 FL 기법들은 구체적인 신호 값 (파형) 을 거의 활용하지 않습니다. 이를 해석하려면 고급 의미론적 이해가 필요하며, 이는 이전에는 자동화 도구에게 어려웠기 때문입니다.
컨텍스트 창 제약: 프로세서 프로젝트는 종종 LLM 의 컨텍스트 한계를 초과합니다. 전체 코드베이스를 제공하면 모델이 집중력을 잃고, 너무 적은 컨텍스트를 제공하면 중요한 의존성이 숨겨집니다.

방법론: BluesFL
저자들은 인간 디버깅 워크플로우에서 영감을 받은 블록 수준, LLM 기반 결함 국소화 프레임워크인 BluesFL을 제안합니다. 이 시스템은 하드웨어 모델과 소프트웨어 참조 모델을 비교하여 아키텍처 상태 불일치를 나타내는 테스트 보고서를 생성하는 공동 시뮬레이션 (co-simulation) 프레임워크에서 작동합니다.

방법론은 네 가지 주요 단계로 구성됩니다:

데이터플로우 기반 코드 블록화:
컨텍스트 한계를 해결하기 위해 SystemVerilog 코드베이스는 파일 구조가 아닌 데이터플로우 관계를 기반으로 분리된 코드 블록으로 분할됩니다. 이러한 블록은 ModInputBlock, ModOutputBlock, AssignBlock, AlwaysBlock의 네 가지 유형으로 분류됩니다. 이 접근 방식은 데이터 의존성을 가진 문장을 클러스터링하여 로컬 의미론을 보존하면서도 LLM 분석에 적합한 컴팩트한 단위를 생성합니다.
블록 수준 명령어 지향 슬라이싱 (Blues):
명령어 실행의 복잡성을 해결하기 위해 저자들은 Blues 알고리즘을 도입합니다. 이 알고리즘은 실패하는 신호와 타임스탬프에서 시작하여 "명령어 실행 경로" 그래프를 구성합니다.
- 블록 내 분석: 블록 내 데이터플로우를 분석하여 구동되는 신호를 식별합니다. 블록이 조합 논리 (동일 시간) 인지 순차 논리 (이전 사이클) 인지 여부에 따라 새로운 타임스탬프 ( $t'$ ) 를 계산합니다.
- 블록 간 분석: 식별된 신호를 구동하는 블록을 찾기 위해 역추적하여 실행 경로 그래프에 연결합니다.
- 결과: 이 과정은 관련 없는 코드를 필터링하여 실패한 명령어 실행 중 실제로 커버된 블록만으로 구성된 경로를 생성하며, 정밀한 타임스탬프로 주석이 달립니다.
도구 호출을 통한 LLM 추론:
LLM 은 실행 경로를 반복적으로 탐색하는 디버깅 어시스턴트 역할을 합니다. 각 상태 $(b, t)$ 에서 LLM 은 다음을 수행합니다:
- 코드 블록 컨텍스트와 구동 신호 (타임스탬프 포함) 를 수신합니다.
- read_values 도구를 사용하여 주석 달린 시간에 파형에서 특정 신호 값을 쿼리합니다.
- check_signals 도구를 사용하여 특정 신호를 구동하는 블록을 실행 경로에서 쿼리합니다.
- 현재 블록이 의심스러운지 여부를 결정하여 의심스러운 경우 큐에 추가하거나 추가 조사를 요청합니다.
순위 매기기:
LLM 이 근본 원인을 찾았거나 분석이 완료되었다고 판단하면, 각 의심스러운 블록에 신뢰도 점수 (0~1) 를 할당하여 결함 위치의 순위가 매겨진 목록을 생성합니다.

주요 기여

BluesFL 프레임워크: 실제 세계의 프로젝트 수준 프로세서 설계에 LLM 기반 결함 국소화를 처음 적용한 사례.
데이터플로우 기반 블록화: 대규모 코드베이스를 LLM 컨텍스트 창에 맞도록 의미론적으로 풍부한 컴팩트한 블록으로 압축하는 방법.
Blues 알고리즘: LLM 이 명령어로 커버된 블록에만 집중하도록 안내하고, 동적 프로세서 행동에 대한 인간의 추론을 모방하기 위해 타임스탬프가 달린 신호 값을 통합하는 새로운 슬라이싱 기법.
실증적 검증: 119 개의 주입된 버그가 있는 19K 라인 오픈소스 RISC-V 코어 (Ibex) 에 대한 평가.

실험 결과
Ibex 프로세서 코어에서 평가된 BluesFL 은 최신 기법들 (정적 슬라이싱, 스펙트럼 기반, LiK 및 Agentless 와 같은 기존 LLM 기반 방법 포함) 보다 상당한 개선을 보였습니다:

정확도: BluesFL 은 Top-1 에서 24 개의 버그를 정확히 국소화하여, 기존 최우수 기법 (7 개의 버그를 찾은 LiK) 대비 242.9% 개선을 달성했습니다.
효율성: 단일 버그를 국소화하는 데 드는 평균 비용은 $0.257이었습니다.
절대 연구: 신호 값이나 명령어 실행 경로를 제거하면 성능이 크게 저하되었습니다. 구체적으로, 신호 값이 없으면 LLM 이 확인한 블록 수가 609% 증가하여 버그당 비용이 $1.821 로 증가했습니다.
모델 견고성: 이 프레임워크는 다양한 LLM 백엔드 (GPT-4o-mini, GPT-4o, Claude-3.5-Sonnet) 에서 경쟁력 있는 성능을 보였으며, Claude-3.5-Sonnet 은 약간 더 높은 비용으로 가장 높은 Top-1 점수 (30 개 버그) 를 달성했습니다.

의의 및 주장
이 논문은 BluesFL 이 인간 디버깅 직관 (명령어 경로와 신호 값 추적) 과 자동화된 분석 사이의 간극을 메움으로써 LLM 기반 결함 국소화를 프로세서 영역으로 성공적으로 확장했다고 주장합니다. 데이터플로우와 타임스탬프가 달린 실행 경로를 통해 의심스러운 영역을 좁히는 인간의 과정을 모방함으로써, 이 프레임워크는 기존 방법들이 겪는 컨텍스트 크기 제한과 커버리지 오염 문제를 극복합니다. 저자들은 이 작업을 복잡한 프로세서 설계를 위한 애자일한 자동화 검증을 향한 기초적인 단계로 위치시키며, 현재 결과는 유망하지만 디버깅 과정이 조기에 종료되는 경우를 처리하기 위해 원거리 교차 블록 추론을 개선하기 위한 추가 작업이 필요하다고 지적합니다.