When Specifications Meet Reality: Uncovering API Inconsistencies in Ethereum Infrastructure

이 논문은 이더리움 클라이언트 간 API 불일치로 인한 금융 및 네트워크 리스크를 해결하기 위해, 명세 기반 테스트 입력 생성과 대규모 언어 모델을 활용한 오보식 필터링 기술을 통해 기존 도구보다 높은 코드 커버리지와 낮은 오검출률을 달성한 자동화 테스트 프레임워크 'APIDiffer'를 제안하고, 이를 통해 11 개 주요 클라이언트에서 72 개의 버그를 발견하여 개발자들이 수정하거나 채택한 실증적 성과를 보여줍니다.

핵심

이더리움의 '숨은 결함'을 찾아낸 AI 탐정: APIDiffer 이야기

이 논문은 블록체인, 특히 **이더리움 (Ethereum)**이라는 거대한 디지털 금융 시스템의 안전성을 지키기 위해 개발된 새로운 도구, APIDiffer에 대한 이야기입니다.

상상해 보세요. 이더리움은 전 세계 수천 명의 개발자가 각자 다른 언어 (고급, 루스트, 자바 등) 로 만든 **11 개의 서로 다른 '은행 지점' (클라이언트)**이 함께 돌아가는 거대한 은행 시스템입니다. 이 은행 지점들은 모두 같은 규칙 (명세서) 을 따르지만, 실제로는 서로 다른 사람이 만들었기 때문에 가끔씩 실수가 생길 수 있습니다.

이 논문은 바로 그 실수 (버그) 를 자동으로 찾아내는 AI 탐정을 소개합니다.

---

1. 왜 이런 도구가 필요할까요? (현실의 문제)

이더리움에는 **수천 조 원 (약 3,800 억 달러)**의 자금이 걸려 있습니다. 하지만 일반 사용자는 직접 은행 지점을 운영할 수 없기 때문에, 이더리움 지갑 (메타마스크 등) 을 통해 **API(은행 창구)**를 통해 거래를 합니다.

문제는 이 창구들이 서로 다르게 작동할 때 발생합니다.

• 실제 사례 (그림 1): 어떤 사용자는 Etherscan(블록체인 검색 사이트) 에서 "내 계좌 잔고가 0.1 ETH"라고 보았는데, 실제로는 0.01 ETH였습니다. 10 배 차이가 난 것입니다!
• 원인: 이더리움의 여러 '은행 지점' 중 하나가 데이터를 잘못 전달했기 때문입니다.
• 위험: 이런 작은 오차가 금융 사기나 혼란을 불러일으킬 수 있습니다.

기존에는 개발자들이 직접 눈으로 하나하나 확인하거나, 수동으로 테스트를 만들었습니다. 하지만 이더리움은 너무 빨리 변하고, 지점도 너무 많아서 사람이 다 따라잡기 힘들었습니다.

2. APIDiffer 는 어떻게 작동할까요? (해결책)

저자들은 APIDiffer라는 도구를 만들었습니다. 이 도구는 세 가지 마법 같은 능력을 가지고 있습니다.

① 규칙서 (명세서) 를 보고 시험지를 자동으로 만드는 능력

기존 도구들은 개발자가 직접 시험 문제 (테스트 케이스) 를 만들어야 했지만, APIDiffer 는 **공식 규칙서 (API 명세서)**를 읽어서 자동으로 문제를 만듭니다.

• 유사한 예: 요리사들이 만든 '요리 레시피 (규칙서)'를 AI 가 읽어서, "소금 1g 을 넣어야 한다"는 규칙을 보고 "소금 0g", "소금 100g", "설탕 1g" 같은 잘못된 상황까지 포함한 시험지를 자동으로 만들어냅니다.

② 현실 세계의 데이터를 가져와서 시험을 보는 능력

단순히 규칙만 따르는 게 아니라, 실제 블록체인에 있는 진짜 데이터를 가져와서 테스트합니다.

• 유사한 예: "가상의 주소로 돈을 보내라"고 하면 은행은 "그 주소는 없습니다"라고 답할 뿐입니다. 하지만 APIDiffer 는 "실제 존재하는 주소를 찾아서" 그 주소를 시험지에 적어 넣습니다. 이렇게 해야 은행이 진짜로 작동하는지 확인할 수 있습니다.

③ AI 가 "실수"와 "차이"를 구별하는 능력 (가장 중요한 부분)

서로 다른 은행 지점들이 답을 다르게 내놓으면, 그게 진짜 실수일까요, 아니면 그냥 표현 방식이 다를 뿐일까요?

• 유사한 예:
  • 은행 A: "오류가 발생했습니다."
  • 은행 B: "데이터를 읽을 수 없습니다."
  • 의미는 똑같은데 말투가 다릅니다.
  • 기존 도구는 이걸 '실수'로 오해해서 개발자에게 계속 신고했습니다.
  • APIDiffer는 최신 **AI(대형 언어 모델)**를 써서 "아, 이건 말투만 다를 뿐, 의미는 같아. 이건 신고하지 말자"라고 **거짓 경보 (False Positive)**를 걸러냅니다.

3. 어떤 성과를 냈나요? (결과)

APIDiffer 는 이더리움의 모든 주요 은행 지점 (11 개) 을 테스트했습니다.

• 72 개의 버그 발견: 개발자들이 몰랐던 숨은 결함 72 개를 찾아냈습니다.
• 90% 이상 해결: 이 중 90% 가 넘는 65 개의 버그는 개발자들이 이미 고쳤거나 고치고 있습니다.
• 규칙서 자체의 오류 발견: 심지어는 공식 규칙서 (명세서) 에 잘못된 내용이 적혀 있는 경우까지 찾아냈습니다! (예: "데이터 길이가 32 자여야 한다"고 적혀 있었는데, 실제로는 33 자여야 하는 경우).
• 효율성: 기존 도구보다 코드 커버리지 (테스트 범위) 가 89% 더 넓어졌고, 불필요한 신고는 37% 줄였습니다.

4. 결론: 왜 이것이 중요한가요?

APIDiffer 는 이더리움이라는 거대한 디지털 도시의 안전 검사관 역할을 합니다.

• 개발자에게: "여기 이 부분이 잘못됐어요"라고 알려주어 시스템을 튼튼하게 만듭니다.
• 사용자에게: 내 돈이 안전하게 거래되고, 잔고 정보가 정확히 표시된다는 신뢰를 줍니다.
• 전체 생태계: 서로 다른 개발 팀이 만든 시스템이 서로 잘 통하도록 만들어, 이더리움 네트워크가 더 안전하고 강력해지도록 돕습니다.

이 논문은 **"규칙서와 현실이 맞지 않을 때, AI 가 어떻게 그 차이를 찾아내고 해결하는가"**를 보여주는 아주 훌륭한 사례입니다. 이제 이더리움은 더 이상 개발자들의 눈과 손에만 의존하지 않고, 똑똑한 AI 도구를 통해 더 안전하게 운영될 수 있게 되었습니다.

기술 요약

논문 요약: Ethereum 인프라의 API 불일치 발견을 위한 APIDiffer

1. 문제 정의 (Problem)

이더리움 생태계는 3,810 억 달러 이상의 자산을 보호하고 있으며, 사용자와 블록체인 간의 유일한 인터페이스는 클라이언트 API입니다. 이더리움은 탈중앙화와 결함 허용성을 위해 실행 계층 (EL) 과 합의 계층 (CL) 을 포함한 다양한 클라이언트 구현체 (Geth, Nethermind, Lighthouse 등 11 개 이상) 를 사용합니다.

• 핵심 문제: 이러한 다양한 클라이언트 간 API 구현에 광범위한 **불일치 (Inconsistencies)**가 존재합니다. 이는 금융 오차, 사용자 경험 저하, 네트워크 신뢰도 하락으로 이어질 수 있습니다.
• 기존 방법의 한계:
  • 기존 테스트 도구 (EtherDiffer, rpctestgen 등) 는 수동 테스트 케이스 작성이나 도메인 특화 언어 (DSL) 에 의존하여 확장성이 부족합니다.
  • 이더리움의 빠른 진화 속도를 따라가지 못하며, 실제 버그와 허용 가능한 구현 변이 (Variations) 를 구분하지 못해 **거짓 양성 (False Positives)**이 많습니다.
  • EL 클라이언트만 지원하거나 CL 클라이언트 테스트가 부재합니다.

2. 제안 방법론: APIDiffer (Methodology)

저자들은 APIDiffer라는 최초의 사양 기반 (Specification-guided) 차등 테스트 (Differential Testing) 프레임워크를 제안합니다. 이는 공식 API 사양을 기반으로 자동화된 테스트를 수행하며, 크게 세 단계로 구성됩니다.

1 단계: 사양 기반 테스트 입력 생성 (Specification-Guided Test Input Generation)

• 문법 지향 생성 (Syntax-oriented): JSON 스키마 정의에서 직접 문법적으로 유효한 요청과 무효한 요청 (필수 필드 누락, 잘못된 타입 등) 을 생성하여 API 의 견고성을 테스트합니다.
• 사실 기반 의미 인식 생성 (Fact-based Semantics-aware): 단순히 문법만 맞는 것이 아니라, 실제 블록체인 데이터 (블록 해시, 주소, 트랜잭션 리시트 등) 를 추출하여 테스트 파라미터에 주입합니다. 이를 통해 존재하지 않는 주소나 블록을 참조하는 실패하는 요청을 방지하고, 실제 온체인 엔티티와 상호작용하는 의미 있는 테스트를 가능하게 합니다.

2 단계: 차등 테스트 (Differential Testing)

• 로컬 테스트넷 (30 개 노드: 5 개 EL 클라이언트 + 6 개 CL 클라이언트) 을 구축하여 모든 주요 클라이언트 조합을 배포합니다.
• 동일한 테스트 요청을 모든 노드에 동시에 전송하고 응답을 비교하여 불일치를 포착합니다.

3 단계: 사양 인식 거짓 양성 필터링 (Specification-Aware False Positive Filtering)

• 발견된 불일치가 실제 버그인지, 환경적 차이 (노드 동기화 상태 등) 나 허용 가능한 변이인지 구분합니다.
• LLM 활용: 대규모 언어 모델 (LLM) 을 활용하여 API 사양을 분석하고 응답 필드를 세 가지 범주로 분류합니다.
  • must-identical: 모든 클라이언트에서 동일해야 하는 필드 (예: 계정 잔고).
  • may-divergent: 노드 상태에 따라 다를 수 있는 필드.
  • must-divergent: 본질적으로 달라야 하는 필드 (예: 노드 ID).
• LLM 은 문법적으로 다르지만 의미적으로 동일한 응답 (Semantic Equivalence) 을 식별하여 거짓 양성을 제거합니다.

3. 주요 기여 (Key Contributions)

1. APIDiffer 프레임워크 개발: EL 및 CL 클라이언트 API 를 모두 포괄하는 최초의 자동화된 차등 테스트 프레임워크를 제시했습니다.
2. 자동화된 버그 식별: LLM 과 사양 기반 휴리스틱을 결합하여 거짓 양성률을 크게 낮추고 실제 버그를 정확히 식별하는 기법을 도입했습니다.
3. 실제 버그 발견 및 사양 오류 발견: 11 개 주요 클라이언트에서 72 개의 버그를 발견했으며, 이 중 90.28% 가 개발자에 의해 확인되거나 수정되었습니다. 흥미롭게도 공식 사양 자체의 오류도 발견했습니다.
4. 오픈소스 및 생태계 기여: 발견된 버그를 GitHub 이슈로 보고하고, 개발자들이 테스트 케이스를 통합하도록 돕는 등 생태계 신뢰도 강화에 기여했습니다.

4. 실험 결과 (Results)

• 코드 커버리지: 기존 도구 (EtherDiffer, rpctestgen, EvoMaster) 대비 최대 89.67% 높은 API 관련 패키지 코드 커버리지를 달성했습니다.
• 버그 발견: 총 72 개의 실제 버그를 발견했습니다.
  • 확인/수정률: 65 개 (90.28%) 가 개발자에 의해 확인되거나 수정됨.
  • 버그 유형: CWE-684 (사양 불일치) 가 가장 많았으며, 예외 처리 오류, 타입 변환 오류, 스택 오버플로우 등 다양함.
  • 사양 오류: Beacon-API 사양의 배열 크기 정의 오류 (32 vs 33) 와 누락된 필드 (blob_gas_used) 등을 발견하여 공식 사양 수정을 유도했습니다.
• 성능:
  • 거짓 양성 감소: 거짓 양성 필터링 (FPF) 을 적용하여 Geth 기준 거짓 탐지율 (FDR) 을 65.38% 에서 28.00% 로, Lighthouse 기준 50.94% 에서 16.13% 로 대폭 감소시켰습니다.
  • 메모리 효율: 기존 도구 대비 메모리 오버헤드가 현저히 낮았습니다 (평균 41.84 MB).

5. 의의 및 중요성 (Significance)

• 생태계 안정성 강화: 이더리움의 핵심 인프라인 클라이언트 API 의 일관성을 보장하여, 사용자와 애플리케이션이 어떤 클라이언트를 사용하더라도 동일한 데이터를 신뢰할 수 있게 합니다.
• 개발 프로세스 혁신: 개발자들이 사양 (Specification) 을 기반으로 자동화된 테스트를 수행할 수 있는 새로운 패러다임을 제시했습니다. 발견된 한 가지 버그는 이더리움 프로젝트 관리 회의에서 논의될 정도로 큰 영향을 미쳤습니다.
• 확장성: 이 접근법은 이더리움뿐만 아니라 잘 문서화된 API 를 가진 다른 블록체인 플랫폼이나 분산 시스템 테스트에도 적용 가능한 템플릿을 제공합니다.

이 논문은 사양 (Specification) 과 현실 (Implementation) 의 괴리를 해결하기 위해 자동화, 의미 분석, LLM 을 결합한 체계적인 접근법을 제시함으로써, 블록체인 인프라의 무결성과 신뢰성을 높이는 데 중요한 기여를 했습니다.