기술 요약: 대규모 언어 모델을 이용한 안드로이드 소스 코드 기반의 정확한 개인정보 보호 캡션 자동 생성

문제 정의

앱 개인정보 보호 고지는 앱이 어떤 개인 정보를 수집하고, 어떻게 사용하며, 왜 사용하는지에 대해 사용자 및 규제 기관에 알리는 중요한 산출물입니다. 이러한 고지는 종s종 "개인정보 보호 캡션(privacy captions)"—즉, 이러한 동작을 간결한 자연어 문장으로 설명하는 것—에 의존합니다. 그러나 캡션을 생성하는 것은 개발자, 특히 개인정보 보호 전문 지식이 없는 소규모 팀의 개발자들에게 상당한 부담이 됩니다. 온라인 정책 생성기를 사용하거나, 유사한 앱에서 복사하거나, 코드를 수동으로 주석 처리하는 등의 현재 관행은 실제 앱의 동작과 일치하지 않는 부정확하거나 불완전하거나 일관성 없는 캡션을 초래하는 경우가 빈번합니다. 이러한 불일치는 규제 과태료나 앱 삭제로 이어질 수 있습니다.

기존의 자동화된 개인정보 보호 고지 생성 방식은 세 가지 주요 한계점을 가집니다:

1. 높은 개발자 부담: 많은 도구들이 소스 코드 주석 달기나 상세한 설문 응답과 같은 광범위한 수동 입력을 요구합니다.
2. 제한적이거나 부정확한 컨텍스트: 자동화된 방법들은 제한된 소스 코드 컨텍스트(예: 호출 그래프의 처음 몇 개 메서드만 포함)에 의존하거나, 실제 앱 동작을 잘못 나타내는 것으로 알려진 개인정보 보호 정책과 같은 잠재적으로 부정확한 입력값에 의존합니다.
3. 형식의 특수성: 많은 접근 방식이 특정 형식(예: 법률적 성격의 개인정보 보호 정책)의 고지를 생성하므로, 권한 근거(permission rationales)나 앱 스토어 설명과 같은 다른 형식으로 변환하기 어렵습니다.

방법론: PCapGen

저자들은 PCapGen(Privacy Caption Generator)을 제안합니다. 이는 개발자의 입력 없이도 안드로이드 소스 코드에서 개인정보 보호 동작을 자동으로 식별하고 정확하며 간결하고 완전한 개인정보 보호 캡션을 생성하도록 설계된 프레임워크입니다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. Identifier (식별자): 휴리스틱 기반 테인트 분석 (Taint Analysis)

Identifier 구성 요소는 앱 내에서 개인 정보의 흐름(테인트 경로)을 추적하는 것을 목표로 합니다.

• 과제: 전통적인 테인트 분석 도구(FlowDroid와 같은)는 미리 정의된 "소스(source)"(데이터 입력) 및 "싱크(sink)"(데이터 출력) 메서드 목록에 의존합니다. 이들은 커스텀 앱 로직에서 흔히 발생하는 미지의 싱크 메서드를 포함하는 경로를 식별하는 데 어려움을 겪습니다.
• 혁신: 저자들은 새로운 휴리스틱 기반 접근 방식을 개발했습니다. 단순히 사전 등록된 싱크에 의존하는 대신, 알려진 소스 API로부터 고정된 깊이(50개 앱에 대한 경험적 분석을 통해 6단계로 결정됨)까지 호출 그래프를 구축합니다. 이 범위 내의 모든 메서드는 잠재적인 싱크 후보로 취급됩니다. 그 후 테인트 분석을 실행하여 유효한 경로를 추출합니다.
• 범위: 이 접근 방식은 80개의 미등록 비위치(non-location) API 소스(WiFi, 계정, 네트워크, 카메라, 저장소 및 센서 포함)를 대상으로 테스트되었습니다. 이 방식은 WiFi, 네트워크 및 계정 API에 대한 유효한 테인트 경로를 성공적으로 식별했으나, 비동기 콜백이나 호출 그래프에 포착되지 않는 컴포넌트 기반 흐름으로 인해 카메라 및 저장소 API에서는 한계에 부딪혔습니다.

2. Extractor (추출기): 소스 코드 컨텍스트 구축

Extractor는 식별된 테인트 경로를 대규모 언어 모델(LLM)에 적합한 인간이 읽을 수 있는 형태의 소스 코드 컨텍스트로 변환합니다.

• 역컴파일: Androguard라는 역공학 도구를 사용하여 APK 파일을 역컴파일하고, 테인트 경로에 포함된 클래스와 메서드의 소스 코드를 추출합니다.
• 문장 매핑: 테인트 경로는 처음에 Jimple(인간이 읽기 어려운 중간 형태)로 표현됩니다. Extractor는 인컨텍스트 러닝(In-Context Learning, ICL)을 사용하는 LLM(최종 구현에서는 DeepSeek 사용)을 사용하여 이 Jimple 문장을 추출된 소스 코드의 해당 라인으로 다시 매핑합니다.
• 출력: 이 과정은 "조립적(coarse-grained)" 뷰(전체 클래스/메서드 구조)와 "세밀한(fine-grained)" 뷰(개인 데이터를 처리하는 특정 문장)를 생성하여, LLM에 여러 파일과 메서드에 걸친 포괄적인 컨텍스트를 제공합니다.

3. Generator (생성기): 캡션 생성

Generator는 LLM을 사용하여 추출된 컨텍스트를 개인정보 보호 캡션으로 합성합니다.

• 프롬프트 엔지니어링: 저자들은 다양한 프롬프팅 전략을 반복 실험했습니다. 초기에는 "프롬프트 체이닝(prompt chaining)"(문장 식별, 레이블 생성, 캡션 생성 순으로 작업을 세분화하는 방식)을 시도했으나, 이는 오류 전파와 환각(hallucination) 현상을 초래한다는 것을 발견했습니다.
• 최종 접근 방식: ICL을 사용하는 단일 프롬프트 방식을 채택했습니다. 프롬프트는 모델에게 소스 코드, 테인트 분석 문장, 그리고 코드와 캡션의 예시 튜플을 제공합니다. 그런 다음 모델은 새로운 코드 샘플에 대한 캡션을 생성하는 과제를 수행합니다.
• 구성: 시스템은 GPT-4, Claude Opus 4, DeepSeek의 세 가지 LLM을 사용하여 평가되었습니다.

데이터셋 및 평가

PCapGen을 평가하기 위해 저자들은 개발자가 검증한 베이스라인 캡션이 포함된 442개의 고유한 안드로이드 소스 코드 샘플 데이터셋을 구축했습니다.

• 베이스라인 생성: 수백 개의 코드 샘플에 대해 수동으로 캡션을 작성하는 것은 불가능하므로, GPT-4를 사용하여 초기 베이스라인 캡션을 생성했습니다.
• 검증: 전문 Java 개발자들(Prolific을 통해 선별됨)이 이 캡션들을 검증했습니다. 이들은 정확성(accuracy), 간결성(conciseness), **완전성(completeness)**을 기준으로 점수를 매겼으며, 두 가지 생성된 옵션 중 선호하는 버전을 선택했습니다. 품질 임계값을 충족하는 샘플만 유지되었습니다.
• 평가 지표: PCapGen의 성능은 다음을 사용하여 베이스라인 캡션과 비교되었습니다:
  • LLM-as-Judge: 세 가지 모델(LlaMa 3.3, Mistral, Gemini 2.5 Pro)이 세 가지 품질 기준에 따라 점수를 매기고 쌍체 비교를 통해 더 나은 캡션을 선택했습니다.
  • 인간 개인정보 보호 전문가: 두 명의 전문가가 유사한 점수 산정 및 선호도 선택 작업을 수행했습니다.
  • 자동화된 지표: 의미적 및 토큰 수준의 유사성을 측정하기 위해 BERTScore, BARTScore, ROUGE-L이 사용되었습니다.

주요 결과

1. 구성 비교 (RQ1)

세 가지 LLM 구성 중, PCapGen_Claude(Claude Opus 4 사용)가 모든 LLM 심사위원의 모든 품질 기준(정확성, 간결성, 완전성)에 대해 PCapGen_GPT 및 PCapGen_DeepSeek보다 일관되게 우수한 성능을 보였습니다. 짝지은 t-검정(paired t-tests)을 통한 통계 분석 결과, PCapGen_Claude와 다른 구성 간의 차이는 중간 크기의 효과 크기와 함께 통계적으로 유의미했습니다.

2. 의미적 유사성 (RQ2)

PCapGen 캡션은 개발자가 큐레이션한 베이스라인 캡션과 의미적으로 매우 유사한 것으로 나타났습니다.

• 인간/LLM 평가: 개인정보 보호 전문가와 LLM 심사위원은 유사도를 보통에서 높음(1-5 척도에서 평균 점수 > 3.3)으로 평가했습니다.
• 자동화된 지표: 높은 BERTScore와 BARTScore는 강한 의미적 중첩을 나타냈습니다. 그러나 ROUGE-L 점수는 낮았습니다(정밀도 ~0.33). 이는 의미는 유사하지만 어휘와 구절이 크게 다르다는 것을 나타내며, PCapGen이 동작을 더 간결하고 자연스러운 언어로 재구성하는 데 성공했음을 시사합니다.

3. 심사위원과의 품질 비교 (RQ3)

LLM 심사위원들은 세 가지 기준 모두에서 베이스라인보다 PCapGen_Claude 캡션을 일관되게 높게 평가했습니다:

• 정확성: +0.57 개선.
• 완전성: +0.47 개선.
• 간결성: +0.35 개선.
  이러한 개선은 큰 효과 크기와 함께 통계적으로 유의미했습니다(p < 0.001). 쌍체 선호도 테스트에서 LLM 심사위원은 **76%에서 100%**의 경우에 베이스라인보다 PCapGen_Claude를 선호했습니다.

4. 전문가와의 품질 비교 (RQ4)

개인정보 보호 전문가는 세 가지 품질 기준의 평균 점수에 대해 PCapGen_Claude와 베이스라인 사이에 통계적으로 유의미한 차이를 발견하지 못했습니다. 그러나 쌍체 선호도 작업에서 전문가들은 **71%**의 확률로 베이스라인보다 PCapGen_Claude를 선택했습니다. 이는 전문가들이 척도상으로는 두 모델을 비슷하게 평가할지라도, 직접 비교할 때는 PCapGen 캡션을 더 우수하다고 인식함을 시사합니다.

의의 및 기여

본 논문은 다음과 같은 주요 기여를 주장합니다:

1. 새로운 프레임워크: PCapGen은 전통적인 정적/테인트 분석을 LLM과 결합하여 개발자의 입력 없이도 소스 코드에서 직접 개인정보 보호 캡션을 자동으로 생성하는 최초의 접근 방식입니다.
2. 확장된 테인트 분석: 저자들은 알려진 소스와 미지의 싱크 사이의 테인트 경로를 식별하기 위한 휴리스틱 기반 방법을 개발하여, 사전 정의된 목록에 의존하는 전통적인 도구의 능력을 확장했습니다.
3. 강력한 평가: 본 연구는 인간 개인정보 보호 전문가와 LLM-as-judge를 모두 사용하는 종합적인 평가 프레임워크를 제공하며, PCapGen이 개발자가 큐레이션한 것만큼 혹은 그보다 더 나은 캡션을 생성함을 입증했습니다.
4. 데이터셋 및 도구: 저자들은 442개의 개인정보 보호 캡션이 포함된 고품질 안드로이드 코드 스니펫 데이터셋과 연구에 사용된 스크립트 및 주석 도구를 공개했습니다.

결론

저자들은 PCapGen이 안드로이드 소스 코드로부터 고품질의 개인정보 보호 캡션을 자동으로 생성하는 것이 가능하다는 것을 보여준다고 결론짓습니다. 테인트 분석에서 유도된 방대한 소스 코드 컨텍스트와 LLM의 추론 능력을 활용함으로써, 시스템은 간결하고 완전하며 정확한 캡션을 생성합니다. 이 결과는 이 접근 방식이 자동화된 방식으로 앱의 동작을 정확하게 반영하는 개인정보 보호 고지를 생성함으로써 자원이 제한된 개발자들이 규제 의무를 이행하는 데 큰 도움을 줄 수 있음을 시사합니다.