💬 NLP

Deja Vu at Scale: Paraphrase-Robust Detection of Duplicate Gherkin Steps in Behaviour-Driven Software Testing with Sentence-Transformer Embeddings and a 1.1M-Step Open Benchmark

이 논문은 110만 개 이상의 스텝으로 구성된 대규모 교차 조직 벤치마크를 공개하고, 유의미한 제거 가능한 중복성을 식별 및 정량화하기 위해 정확, 어휘 및 의미론적 방법을 결합한 패러프레이즈 강건 탐지기를 도입함으로써 행위 주도 개발(BDD) 내 중복된 거킨(Gherkin) 스텝의 유지보수 비용 문제를 다룹니다.

원저자: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ali Hassaan Mughal, Noor Fatima, Muhammad Bilal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 거대하고 협업적인 요리책의 편집자라고 상상해 보세요. 전 세계 수천 명의 셰프들이 각자의 주방에서 레시피를 기여했습니다. 시간이 흐르면서, 당신은 똑같은 지시사항이 약간씩 다른 방식으로 반복해서 나타나는 문제를 발견합니다.

한 셰프는 이렇게 적습니다: "밀가루 두 컵을 넣으세요."
다른 셰프는: "밀가루 2 컵을 넣으세요."
세 번째 셰프는: "밀가루 2 컵을 투입하세요."

소프트웨어 테스트의 세계에서, 이러한 지시사항들을 거킨(Gherkin) 스텝이라고 부릅니다. 이것들은 컴퓨터에게 소프트웨어를 어떻게 테스트할지 알려주는 "레시피"입니다. 문제는 이러한 지시사항들이 중복되거나 약간씩 다르게 표현될 때 유지보수가 매우 어려워진다는 점입니다. 만약 "밀가루를 넣으세요"를 "아몬드 가루를 넣으세요"로 바꿔야 한다면, 단 한 번의 수정 대신 수천 개의 복사본을 찾아다니며 일일이 수정해야 할 수도 있습니다.

**"데자뷔 앳 스케일(Déjà Vu at Scale)"**이라는 제목의 이 논문은, 설령 표현이 조금 다르더라도 이러한 중복을 찾아내는 아주 똑똑한 도구를 구축하는 방법과, 이 도구가 제대로 작동함을 증명하기 위한 거대한 예시 라이브러리를 만드는 과정에 대해 다룹니다.

다음은 그들이 수행한 작업을 쉬운 비유를 들어 설명한 내용입니다.

1. 문제점: "데자뷔" 현상

저자들은 소프트웨어 세계에서 중복이 어디에나 존재한다는 것을 발견했습니다. 그들은 347개의 서로 다른 소프트웨어 프로젝트(마치 347권의 서로 다른 요리책과 같은)를 조사했고, 110만 개 이상의 지시사항을 찾아냈습니다.

통계: 그들은 이 지시사항 중 **80%**가 다른 무언가의 정확한 복사본이라는 사실을 발견했습니다.
고충: 만약 회사가 오타를 고치거나 규칙을 변경하고 싶다면, 수천 개의 파일을 수정해야 할 수도 있습니다. 이는 마치 어떤 레시 recipe가 1,000개의 서로 다른 책, 1,000개의 서로 다른 페이지에 적혀 있는 요리책에서 레시피 하나를 업데이트하려는 것과 같습니다.

2. 해결책: "스마트한 사서"

저자들은 cukereuse라는 도구를 만들었습니다. 이 도구를 아주 똑똑한 사서라고 생각해보세요. 이 사서는 지시사항을 읽고, 철자나 띄어쓰기가 다르더라도 "2 컵을 추가"와 "두 컵을 추가"가 같은 의미라는 것을 이해할 수 있습니다.

그들은 단순히 한 가지 기술만 사용한 것이 아니라, 중복을 잡아내기 위해 4단계 방어 시스템을 사용했습니다:

정확한 일치 (Exact Match): 마지막 글자 하나까지 완벽하게 동일한 경우(마치 두 장의 복사본처럼), 즉시 잡아냅니다.
"거의" 일치 (Almost Match): 지시사항이 90% 정도 유사한 경우(예: "밀가루 2 컵" vs "밀가루 두 컵"), 이 역시 잡아냅니다.
"의미" 일치 (Meaning Match): 이것이 핵심적인 부분입니다. AI(Sentence Transformers라고 불리는 기술)를 사용하여 의미를 이해합니다. 이 도구는 "사용자가 버튼을 클릭함"과 "사용자에 의한 버튼 클릭"이 단어가 완전히 다르더라도 같은 의미라는 것을 압니다.
하이브리드 (Hybrid): "거의 일치"와 "의미 일치" 검사를 결합하여 더욱 확실하게 중복을 잡아냅니다.

3. 증명: "골드 스탠다드(Gold Standard)" 테스트

그들의 사서가 실제로 유능한지 증명하기 위해, 저자들은 단순히 추측하지 않았습니다. 그들은 거대한 테스트 세트를 만들었습니다:

그들은 1,020쌍의 지시사항을 가져왔습니다.
세 명의 서로 다른 사람(저자들)이 직접 읽고 "이것들이 중복인가 아닌가?"를 결정했습니다.
모든 사람이 정답에 동의하도록 만들었습니다 (Fleis's κ = 0.84라는 높은 점수를 얻었는데, 이는 심판단이 경기의 승자를 결정할 때 모두가 일치된 의견을 내는 것과 같습니다).
결과: 그들의 "의미 일치" 도구도 매우 뛰어났지만, "거의 일치" 도구가 테스트 규칙에 혼동되지 않으면서 약 **82%**의 확률로 중복을 정확히 식별해내어 가장 신뢰할 수 있는 결과를 보여주었습니다.

4. 거대한 발견: "통합(Consolidation)"의 절감 효과

이 논문에서 가장 흥ender한 부분은 그들이 계산한 절감 효과에 관한 수학적 데이터입니다.

그들은 일반적인 소프트웨어 프로젝트에서 중복된 지시사항의 약 62.5%를 삭제하고 이를 단 하나의 "마스터" 지시사항으로 대체할 수 있다는 것을 발견했습니다.
비유: 여러분에게 100페이지짜리 요리책이 있다고 상상해 보세요. 이 도구를 사용한 후, 여러분은 오직 37개의 고유한 페이지가 필요하다는 것을 깨닫게 됩니다. 나머지 63개 페이지는 그저 복사본일 뿐입니다. 이 페이지들을 버림으로써 책을 훨씬 얇고 관리하기 쉽게 만들 수 있습니다.
그들은 이를 ISO/IEC 25010(좋은 소프트웨어에 대한 글로벌 규칙집)과 연결했습니다. 이러한 중복을 정리하는 것이 소프트웨어를 변경하기 쉽게 만들고(유지보수성, Maintainability), 오류 발생 가능성을 낮춘다(신뢰성, Reliability)는 것을 보여주었습니다.

5. 세상에 공개한 것들

저자들은 자신들의 발견을 혼자만 간직하지 않았습니다. 그들은 누구나 이 연구를 할 수 있도록 "스타터 팩"을 공개했습니다:

데이터: 공개 소프트웨어 프로젝트에서 추출한 110만 개의 실제 지시사항 모음.
테스트: "골드 스탠다드" 정답이 포함된 1,020쌍의 지시사항.
도구: 중복을 찾아내는 실제 소프트웨어 코드 (cukereuse).
규칙: 무엇을 중복으로 간주할지 결정하는 데 사용한 가이드북.

요약

요약하자면, 이 논문은 다음과 같이 말합니다: "소프트웨어 테스트 지시사항에는 불필요한 중복이 가득하며, 이는 관리를 어렵게 만듭니다. 우리는 표현 방식이 다르더라도 이러한 중복을 찾아내는 똑똑한 도구를 만들었고, 거대하고 고품질인 테스트를 통해 이것이 작동함을 증명했으며, 이를 해결하는 것이 소프트웨어 팀에 엄청난 시간과 노력을 아껴줄 수 있음을 보여주었습니다. 우리는 다른 사람들이 사용할 수 있도록 우리의 모든 도구와 데이터를 무료로 제공합니다."

그들이 주장하지 않은 것:

이 작업이 정확히 얼마만큼의 비용을 절감하는지는 언급하지 않았습니다 (기업마다 인건비가 다르기 때문입니다).
이것이 모든 소프트웨어 품질 문제를 해결한다고 말하지 않았습니다. 오직 중복된 지시사항이라는 특정 문제만을 다룹니다.
이 도구가 기업의 비밀스러운 내부 데이터에서도 작동한다고 주장하지 않았습니다 (공개된 데이터만을 검토했기 때문입니다).

기술 요약: 데자뷔 인 스케일 (Déjà Vu at Scale)

문제 정의
Gherkin 언어로 작성된 행위 주도 개발(BDD) 수트(suite)는 종종 스텝 텍스트(step-text)의 중복을 축적한다. 선행 연구에 따르면 이러한 중복은 특히 여러 곳에서 발생하는 스텝 정의의 이름 변경이나 리팩토링 시 상당한 유지보수 비용을 초래한다. 기존의 탐지 기법들은 결정적인 한계를 가진다: 동적 접근 방식(예: Binamungu et al., 2018–2023)은 실행 가능한 테스트 수트를 필요로 하므로 교차 저장소 규모(cross-repository scale) 적용이 불가능하며, 정적 접근 방식(예: Irshad et al., 2020–2022)은 종종 단일 조직에 국한되거나 스텝 수준의 세밀함이 부족하다. 결과적으로, 어떤 저장소에도 적용 가능한 순수 정적이며, 패러프레이즈(paraphrase)에 강건하고, 스텝 수준의 탐지기 및 이를 위한 캘리브레이션용 공개 벤치마크에 대한 공백이 존재한다.

방법론
저자들은 정적 분석 도구인 cukereuse와 관련 실증 연구를 제시한다. 방법론은 세 가지 핵심 구성 요소를 중심으로 구조화되어 있다:

코퍼스 구축:
- 발견(Discovery): GitHub REST Search API를 사용하여 Gherkin 파일을 포함하는 저장소를 식와별하였으며, 별(star)이 10개 이상인 것을 필터링하고 아카이브된 프로젝트는 제외하였다.
- 실체화(Materialisation): 347개의 저장소를 희소 클론(sparse-clone)하여 23,667개의 파싱된 .feature 파일과 1,113,616개의 Gherkin 스텝을 확보하였다.
- 정체성 정의(Identity Definition): 스텝의 정체성은 키워드(Given/When/Then)와 부착된 인자(DocStrings/DataTables)를 제외하고 파라미터와 리터럴은 유지하면서, 공백을 제거한 텍스트의 BLAKE2b 해시로 정의된다. 이는 Cucumber 런타임의 해결 로직을 모사한 것이다.
탐지 전략:
도구는 정밀도/계산 비용의 프런티어를 따라 네 가지 전략을 계층화한다:
- Exact (정확 일치): 정규화된 텍스트에 대한 BLAKE2b 해싱.
- Near-Exact (준-정확 일치): 정규화된 레벤슈타인 비율(Levenshtein ratio).
- Semantic (의미적 일치): Sentence-BERT (SBERT) 코사인 유사도.
- Hybrid (하이브리드): 노이즈를 필터링하기 위해 SBERT 코사인 유사도와 레벤슈타인 밴드 가드(Levenshtein-band guard)를 결합함.
평가 및 벤치마킹:
- 레이블링된 벤치마크: 3명의 저자가 공유된 루브릭(60개 쌍의 중첩에 대해 Fleis's $\kappa$ = 0.84)을 사용하여 1,020개의 스텝 쌍을 수동으로 레이블링하였다.
- 순환성 제어(Circularity Control): 점수 기반 루브릭 규칙(R1–R3)이 탐지기에 편향을 주는 위협을 해결하기 위해, "점수 미사용(score-free)" 2차 레이블링 프로토콜을 도입하였다. 이 프로토콜은 유사도 점수에 접근하지 않고 결정론적 텍스트 재작성 규칙(예: 토큰 멀티셋 동일성, 부분 수열 포함 관계)을 사용한다.
- 베이스라인: 본 연구는 제안된 전략들을 두 가지 고전적인 렉시컬(lexical) 베이스라인인 Token-set Jaccard(SourcererCC 스타일) 및 TF-IDF character n-gram cosine(NiCad 스타일)과 비교한다.

주요 기여

최대 규모의 교차 조직 코퍼스: SPDX 라이선스 태그와 Gebru 스타일의 데이터시트가 포함된 347개 저장소, 110만 개의 Gherkin 스텝 데이터셋을 공개한다.
최초의 공개 BDD 벤치마크: 중복 탐지기를 캘리브레이션하기 위해 설계된, 높은 검사자 간 일치도를 가진 1,020개 쌍의 레이블링된 벤치마크를 제공한다.
점수 미사용(Score-Free) 레이블링 프로토콜: 점수 기반의 탐지기와 점수 기반의 평가 루브릭 사이의 순환성을 제한하는 방법론적 기여를 한다.
통합 절감 모델(Consolidation-Savings Model): 탐지된 클러스터를 ISO/IEC 25010 품질 특성(특히 수정 가능성 및 재사용성과 같은 유지보수성 하위 특성)에 매핑하는 정량적 모델을 제시한다.
오픈 소스 툴링: cukereuse 도구, 분석 파이프라인 및 모든 산출물을 허용적인 라이선스 하에 공개한다.

결과

중복 보급률: 스텝 가중치를 적용한 정확 일치 중복률은 **80.2%**이다. 중앙값 저장소의 중복률은 **58.6%**이다. 가장 빈번한 하이브리드 클러스터("the response status is 200 OK")는 2,245개 파일에 걸쳐 20,737번 나타난다.
탐지 성능:
- 주요 루브릭 하에서, 의미적(semantic) 전략은 0.906의 F1 점수를 달랐으나, 이는 루브릭 규칙으로 인해 재현율(recall)이 1.000이 된 층화 아티팩트(stratification artefact)로 식별되었다.
- 점수 미사용 레이블링(즉, "정직한" 지표) 하에서, 준-정확(Levenshtein) 전략이 0.822의 F1 점수로 가장 우수한 성능을 보였다.
- 의미적 전략은 점수 미사용 레이블 하에서 F1 = 0.772로 떨어졌으며, 렉시컬 베이스라인은 Jaccard(F1 = 0.761)와 TF-IDF(F1 = 0.799)를 기록했다.
통합 잠재력: 모델은 893,357개의 스텝 텍스트 발생 사례(코퍼스의 약 80%)가 정확 일치 조건 하에서 통합 가능하다고 추정한다. 중앙값 저장소의 경우, **62.5%**의 스텝 라인이 제거 가능하다.

의의 및 주장
본 논문은 최초의 정적이며, 패러프레이즈에 강건하고, 교차 조직적인 중복 스텝 탐지기를 제공함으로써 특정하고 측정 가능한 BDD 품질 툴링의 공백을 메운다고 주장한다. 그 의의는 모든 BDD 품질 문제를 해결한다고 주장하는 데 있는 것이 아니라, 미래의 연구와 실제 적용을 가능하게 하는 필수적인 경험적 산출물(코퍼스, 벤치마크 및 도구)을 제공하는 데 있다.

저자들은 탐지된 클러스터가 ISO/IEC 25010 유지보수성 하위 특성(수정 가능성, 모듈성, 재사용성, 분석 가능성, 테스트 가능성)에 매핑된다고 명시적으로 밝힌다. 또한 드리프트(drift) 방지를 통해 신뢰성에도 간접적으로 기여한다. 그러나 경제적 영향에 대해서는 겸손한 태도를 유지한다. 즉, "제거 가능한 표면"(텍스트 라인)은 정량화하지만, 이러한 수치를 금전적 절감액이나 인적 시간으로 변환하지는 않으며, 그러한 변환에는 조직별 비용 캘리브레이션이 필요하며 이는 공개된 데이터의 범위를 벗어난다는 점을 명시한다. 본 작업은 커뮤니티가 자신의 코드베이스에 복제, 확장 및 적용할 수 있는 기초적인 벤치마크와 툴셋 역할을 한다.