Hybrid Fault-Driven Mutation Testing for Python

보이지 않는 글리치 사냥꾼

당신이 거대하고 정교한 레고 성을 만들고 있다고 상상해 보세요. 당신은 설명서를 완벽하게 따라 했고, 구조물은 멋져 보입니다. 하지만 바람이 한 번 불었을 때 이 성이 무너지지 않을 것이라고 어떻게 확신할 수 있을까요? 컴퓨터 소프트웨어의 세계에서 이 "바람"은 바로 버그입니다. 소프트웨어 엔지니어들은 그들의 안전망(테스트 스위트)이 충분히 강력한지 확인하기 위해 **뮤테이션 테스팅(mutation testing, 변이 테스트)**이라는 기법을 사용합니다. 뮤테이션 테스팅을 당신의 코드에 몰래 침입하여 "더하기"를 "빼기"로 바꾸거나, 중요한 명령어를 삭제하는 것과 같은 아주 작고 의도적인 실수를 저지르는 장난꾸러기 유령이라고 생각하세요. 만약 당신의 안전망이 훌륭하다면, 즉시 그 유령을 잡아내어 "이봐, 뭔가 잘못됐어!"라고 말해야 합니다. 만약 유령이 눈에 띄지 않고 몰래 빠져나갔다면, 그것은 당신의 안전망에 구멍이 있다는 뜻입니다.

하지만 문제가 하나 있습니다. 어떤 실수들은 너무 미묘해서 프로그램의 동작을 실제로 바꾸지는 않고, 단지 서류상으로만 다르게 보일 뿐입니다. 이것들을 "동등 변이(equivalent mutants)"라고 부르며, 이는 성의 안정성은 바꾸지 않으면서 벽돌의 색깔만 바꾸는 유령과 같습니다. 이들은 실제 문제를 발견하지 못했음에도 불구하고 테스터들이 문제를 발견했다고 착각하게 만들어 시간을 낭비하게 하고 결과를 혼란스럽게 만듭니다. 이는 매우 유연하고 "동적(dynamic)"인 파이썬(Python) 같은 프로그래밍 언어에서 특히 까다로운 문제입니다. 파이썬에서는 더 엄격한 언어라면 크래시가 발생했을 법한 일들을 할 수 있으며, 컴퓨터는 프로그램을 실제로 실행하기 전까지는 불평하지 않는 경우가 많습니다. 이 때문에 정적인 체크리스트만으로는 그 교활하고 동적인 유령들이 정확히 어디에 있는지 알아내기가 어렵습니다.

파이썬 특화 유령 사냥꾼들

이 논문에서 연구자 사바 알리마다디(Saba Alimadadi)와 골나즈 가라초를(Golnaz Gharachorlu)은 파이썬에서 발생하는 종류의 글리치들을 추적하기 위해 설계된 PyTation이라는 새로운 도구를 소개합니다. 그들은 기존의 도구들이 주로 일반적인 실수(예: 수학 기호 바꾸기)를 찾는 데 집중하느라, 파이썬 프로그래머들이 언어의 유연성 때문에 저지르는 독특하고 기묘한 오류들을 놓치고 있다는 점을 깨달았습니다.

이를 해결하기 위해 연구팀은 일곱 가지의 새로운 "뮤테이션 연산자(mutation operators)"를 발명했습니다. 이것들을 파이썬 특유의 유령을 잡기 위한 전문화된 도구 세트라고 생각하세요. 단순히 수학 기호를 바꾸는 대신, 이들의 도구는 파이썬 코드에서 흔히 나타나는 나쁜 습관(안티 패턴)을 찾아냅니다. 예를 들어:

• "누락된 인자" 유령: 파이썬은 함수가 선택적 재료(옵션 인자)를 가질 수 있도록 허용합니다. 때때로 프로그래머는 필요한 재료를 추가하는 것을 잊어버려 나중에 코드가 충돌할 수 있습니다. PyTation은 이 선택적 재료를 몰래 제거함으로써 테스트가 이를 잡아내는지 확인합니다.
• "잘못된 속성" 유령: 파이썬에서는 객체에게 존재하지 않는 기능을 물어볼 수 있으며, 컴퓨터는 당신이 그것을 실제로 사용하려고 할 때까지 경고하지 않습니다. PyTation은 올바른 기능의 이름을 무작위의 틀린 이름으로 바꾸어 테스트가 이 혼동을 알아차리는지 확인합니다.
• "잊혀진 호출" 유로: 때때로 프로그래머는 명령(함수 호출 등)을 실제로 수행하는 것을 잊고 그냥 이름만 남겨둡니다. PyTation은 이러한 누락을 시뮬레이션하여 아무 일도 일어나지 않았다는 사실을 테스트가 인지하는지 확인합니다.

PyTation의 영리한 점은 그 사냥 방식에 있습니다. 이 도구는 코드를 책처럼 읽는 "정적(static)" 관찰과 코드가 실행되는 모습을 영화처럼 지켜보는 "동적(dynamic)" 관찰을 결격한 하이브리드 접근 방식을 사용합니다. 기존 테스트를 통해 코드가 실행되는 과정을 지켜봄으로써, PyTian은 어떤 부분의 코드가 실제로 사용되고 있는지 학습합니다. 그런 다음, 그 활성화된 영역에만 특정한 파이썬 스타일의 글리치를 주입합니다. 이는 마치 집 안의 모든 빈 옷장을 검사하는 대신, 사람들이 실제로 들어가는 방만을 체크하는 탐정과 같습니다. 이를 통해 PyTation은 변화가 프로그램의 동작을 실제로 바꾸는지 실시간으로 확인할 수 있어 "동등 변이(해롭지 않은 유령)"를 피할 수 있습니다.

연구진은 작은 도구부터 Django 및 Flask와 같은 거대한 프레임워크에 이르기까지 13개의 실제 파이썬 애플리케이션을 대상으로 PyTation을 테스트했습니다. 이 애플리케이션들은 이미 매우 높은 테스트 커버리지를 보유하고 있었으며, 이는 그들의 안전망이 매우 훌륭해야 함을 의미합니다(일부는 99% 이상의 커버리지를 가졌습니다).

결과는 놀라웠습니다. 이 "완벽한" 테스트 스위트 내에서도 PyTation은 새로운 파이썬 특화 변이 중 88%를 포착했지만, 상당한 양이 살아남았습니다. 이는 고도로 테스트된 코드조차 파이썬의 독특한 특성에 대해서는 사각지대가 존재함을 시사합니다. 이들이 최상급의 범용 도구인 Cosmic Ray와 비교했을 때, 두 도구는 완전히 다른 것을 찾고 있었습니다.

• 다른 타겟: PyTation이 생성한 변이의 약 **69%**는 고유한 것이었습니다. 즉, Cosmic Ray는 이 변이들을 건드리지조차 못했습니다. 반대로, Cosmic Ray는 PyTation이 놓친 자신의 변이 중 77%를 찾아냈습니다.
• 낮은 중복성: Cosmic Ray의 버그를 잡아낸 테스트가 PyTation의 버그를 잡는 경우는 드물었습니다. "교차 살상률(cross-kill rate, 두 도구의 변이를 모두 잡아낸 테스트의 비율)"은 단 **3.52%**였습니다. 이는 PyTation이 일반적인 도구들이 완전히 간과하는 결함들을 찾아내고 있음을 의미합니다.
• 효율성: PyTation은 또한 효율적이었습니다. 동적 분석을 통해 해로운 변화가 발생하기 전에 미리 걸러냄으로써 "동등 변이"를 매우 적게(평균 약 1.61%) 생성했습니다.

요약하자면, 이 논문은 일반적인 뮤테이션 도구들도 좋지만, 파이썬에는 충분하지 않다고 제안합니다. PyTation은 전문화된 파트너로서 일반적인 도구가 놓치는 다른 층위의 숨겨진 결함들을 드러내며, 어디를 보느냐에 따라 가장 잘 테스트된 파이썬 코드라도 여전히 안전망에 구멍이 있을 수 있음을 증명합니다.