How Humans, Bots, and Agents Communicate About Vulnerabilities in Pull Requests

기술 요약: 인간, 봇, 에이전트가 풀 리퀘스트(Pull Request) 내 취약점에 대해 소통하는 방식

문제 정의
소프트웨어 취약점은 일반적으로 표준화된 식별자(예: CVE, CWE, GHSA) 또는 암시적인 자연어(예: "SQL 인젝션", "unauthorized access")를 통해 전달됩니다. 기존 연구는 명시적 식별자를 활용하여 보안 관련 개발 활동을 광범위하게 연구해 왔으나, 이러한 접근 방식은 암시적인 언어에만 의존하는 논의를 간과할 가능성이 있습니다. 또한, 풀 리퀘스트(PR) 워크플로에서 봇과 자율 코딩 에이전트의 보급이 증가함에 따라 이들이 취약점을 참조하는 방식에도 새로운 역학 관계가 도입되고 있습니다. 기존 연구들은 이러한 행위자들이 명시적 식별자를 사용하는 방식에 주로 초점을 맞추었으며, 암시적 보안 신호(implicit security signals)를 충분히 조사하지 않았습니다. 즉, 이러한 참조가 실제 코드의 취약점과 상관관계가 있는지, 혹은 PR 검토 결과에 어떤 영향을 미치는지에 대한 연구가 부족합니다. 본 등록 보고서(registered report)는 인간, 봇, 코딩 에이전트 간의 취약점 소통을 조사함으로써 이러한 격차를 해소하고자 합니다.

연구 방법론
본 연구는 2,807개의 인기 있는 오픈 소스 저장소(별 개수 500개 초과)에서 추출한 33,000개 이상의 풀 리퀘스트를 포함하는 정제된 데이터셋인 AIDev-pop 데이터셋을 기반으로 대규모 실증 분석을 수행합니다. 이 데이터셋에는 다섯 가지 특정 코딩 에이전트(OpenAI Codex, Devin, GitHub Copilot, Cursor, Claude Code)와 인간 및 봇 기여자가 작성한 PR이 포함되어 있습니다.

실행 계획은 세 가지 주요 단계로 구성됩니다:

1. 취약점 신호 탐지:

   • 명시적 참조(Explicit References): CVE, CWE, GHSA, GO, RUSTSEC, OSV, MAL, USN과 같은 식별자의 표준 패턴에 대한 정규 표현식 매칭을 사용하여 식별합니다 (논문의 Table II에 상세 기술됨).
   • 암시적 신호(Implicit Signals): PR 제목, 설명, 리뷰 댓글, 커밋 메시지 및 타임라인 논의에 적용된 검증된 키워드 기반 접근 방식(Zhou와 Sharma [11])을 사용하여 탐지합니다.
   • 검증: 탐지된 신호는 Gemini-2.0-flash LLM을 사용하여 검증됩니다. 신뢰성을 확보하기 위해, 두 개의 대표 샘м플(명시적 및 암시적 신호 각각 360개의 PR)을 인간 주석가가 직접 코딩하여 그라운드 트루스(ground truth)를 설정하며, Cohen's $\kappa$를 통해 평가자 간 신뢰도를 측정합니다.

2. 계정 분류:

   • 코딩 에이전트: 원본 AIDev-pop 데이터셋에 주석 처리된 특정 사용자 계정을 통해 식별합니다.
   • 봇: GitHub 태그, 사용자 이름 휴리스틱(예: "bot" 포함), 그리고 선별된 알려진 봇 계정 목록을 통해 식별하며, 층화 표본 추출을 통한 수동 검증을 거칩니다.
   • 인간: 에이전트나 봇으로 분류되지 않은 나머지 모든 계정입니다.

3. 데이터 분석 및 정적 분석:

   • RQ1 (분포): 카이제곱 검정을 사용하여 행위자 유형 및 PR 구성 요소에 따른 명시적 vs 암시적 참조의 빈도와 분포를 분석합니다.
   • RQ2 (코드 품질): Semgrep(기본 규칙 세트 및 4단계 심각도 수준으로 구성)을 사용하여 PR 변경 전(base commit)과 변경 후(head commit)의 코드에 대해 정적 분석을 수행합니다. 이를 통해 취약점 신호가 실제 취약점의 도입, 수정 또는 유지 여부와 일치하는지 결정합니다. 회귀 모델은 PR 특성(예: 변경된 라인 수, 파일 수)을 통제 변수로 사용합니다.
   • RQ3 (사회적 반응): 리뷰 활동(댓글 수, 리뷰어 수), 응답 시간 및 PR 결과(merged, closed, open)를 분석하며, 저장소 및 PR 복잡도를 통제하는 로지스틱 및 카운트 기반 회귀 모델을 사용합니다.

주요 기여

• 포괄적 신호 분석: 명시적 식별자를 넘어 암시적 보안 관련 신호를 포함함으로써 취약점 소통에 대한 더 완전한 그림을 제공합니다.
• 행위자 중심 조사: 인간, 봇, 코딩 에이전트가 취약점에 대해 소통하는 방식이 어떻게 다른지 구체적으로 비교합니다.
• 실증적 검증: 정적 분석을 통해 커뮤니케이션 신호를 실제 코드 변경과 연결함으로써, 참조(특히 에이전트에 의한 참조)가 실제 보안 문제와 일치하는지 문제를 해결합니다.
• 데이터셋 및 파이프라인: 저자들은 PR 논의에서의 취약점 소통을 연구하기 위해 특별히 설계된 데이터셋과 분석 파이프라인을 제공하여 향-후 이 분야의 연구를 촉진합니다.

결과
참고: 본 문서는 계획된 연구를 기술하는 등록 보고서이므로, 최종적인 실증 결과나 통계적 결과는 제시하지 않습니다. 본 텍text는 결과를 보고하기보다는 가설과 분석 프레임워크를 설명합니다.

본 논문은 세 가지 연구 질문에 답하기 위한 계획을 상세히 설명합니다:

1. RQ1: 취약점 참조가 암시적/명시적 유형, 행위자 유형, PR 구성 요소 사이에 어떻게 분포되는가.
2. RQ2: 참조 유형과 정적 분석으로 탐지된 보안 변경(도입 vs 수정) 사이의 연관성은 무엇인가.
3. RQ3: 참조 유형과 사회적 반응 지표(리뷰 활동 및 PR 결과) 사이의 연관성은 무엇인가.

의의 및 범위
본 연구는 현대 소프트웨어 개발에서의 취약점 소통 관행에 대한 대규모 실증적 조사를 제공합니다. 명시적 식별자와 암시적 언어를 구분함으로써, 본 연구는 공식적인 식별자에만 의존하는 연구들이 놓칠 수 있는 패턴을 밝혀내는 것을 목표로 합니다.

저자들은 타당성과 관련하여 다음과 같은 구체적인 한계를 인정합니다:

• 내적 타당성: 명시적 ID에 대한 정규 표현식 의존도는 잘못된 형식의 식별자를 놓칠 수 있으며, 암시적 신호 탐지를 위한 키워드 기반 방식은 거짓 양성/음성을 생성할 수 있으나 이는 LLM 및 인간 검증을 통해 완화됩니다. 정적 분석 도구(Semgrep) 또한 거짓 양성을 생성하거나 문맥 의존적인 문제를 놓칠 수 있습니다.
• 외적 타당성: 연구 결과는 코딩 에이전트를 활발히 사용하는 인기 있는 오픈 소스 저장소(별 개수 500개 초과)에 국한됩니다. 결과는 이러한 특정 생태계 내의 소통 관행을 특징 지우며, 규모가 작거나 비공개인 프로젝트, 또는 GitHub 이외의 프로젝트로 일반화하기 어려울 수 있습니다.

본 논문은 이 작업이 보안에 대해 서로 다른 행위자들이 어떻게 소통하는지 이해하기 위한 기초적인 단계임을 밝히며, 특히 AI 생성 PR에서 나타날 수 있는 부정확하거나 근거 없는 보안 주장(unsupported security claims)을 조사하는 후속 연구를 제안하며 마무리됩니다.