기술 요약: 당신은 LaTeXpOsEd 되었습니다

문제 진술

과학적 사전출판물 (preprint) 저장소, 특히 arXiv의 급속한 확장은 지식 공유의 패러다임을 변화시켰습니다. 최종 PDF 만 출판하는 전통적인 저널과 달리 arXiv 는 투명성과 재현성을 보장하기 위해 기본 소스 파일 (예: LaTeX 소스, 빌드 산출물, 보조 이미지) 의 제출을 의무화합니다. 그러나 이러한 아키텍처 선택은 정제되지 않은 소스 파일을 통한 정보 유출이라는 중대하면서도 종종 간과되는 보안 벡터를 생성합니다.

저자들은 이러한 요소들이 일시적이거나 대중에게 보이지 않는다는 오해 하에 LaTeX 주석, 미참조 보조 파일, 또는 이미지 메타데이터 (EXIF) 에 민감한 데이터를 자주 포함시킵니다. 이 논문은 arXiv 의 제출 약관을 수락함으로써 저자들이 이러한 파일들을 배포할 수 있는 취소 불가능한 라이선스를 부여하며, 플랫폼의 개인정보 보호 정책은 정제 (sanitization) 의 부담을 제출자에게 명시적으로 전가한다고 주장합니다. 결과적으로 적대적 행위자들은 오픈 소스 인텔리전스 (OSINT) 기법을 사용하여 개인 식별 정보 (PII), 자격 증명, API 키, 내부 분쟁 등을 수집할 수 있습니다. 전통적인 정규식 기반 패턴 매칭은 이러한 복잡한 문서 구조 내에 숨겨진 맥락 의존형 비밀 (예: 의미론적 유출, 저자 간 분쟁, 비표준 자격 증명 형식) 을 탐지하는 데는 불충분합니다.

방법론: LaTeXpOsEd 프레임워크

저자들은 사전출판물 소스 파일의 민감한 정보 유출을 체계적으로 감사하기 위해 설계된 4 단계 파이프라인인 LaTeXpOsEd를 제시합니다. 이 프레임워크는 패턴 매칭, 논리적 필터링, 그리고 대규모 언어 모델 (LLM) 을 통합합니다.

1. 1 단계: 스크래핑

   • 데이터는 규정 준수와 악성 스크래핑 방지를 위해 arXiv 의 공식 아마존 S3 대량 데이터 서비스를 통해 획득되었습니다.
   • 본 연구는 약 1.2TB 의 압축 해제 데이터를 포함하는 100,000 건의 제출물을 분석하여 808 개의 특정 tar.gz 아카이브를 검색했습니다.
   • 데이터 검색에 소요된 총 연구 비용은 약 37 달러였습니다.

2. 2 단계: 파싱 및 정제

   • 아카이브는 압축 해제되었고, 콘텐츠는 기계 판독 가능한 JSON 으로 추출되었습니다.
   • 필터링: 파이프라인은 소스 아카이브가 없는 논문 (7.7%), LaTeX 파일이 없는 논문 (6.1%), 주석이 없는 논문 (4.6%) 을 제외했습니다.
   • 정제: 다단계 파이프라인이 보일러플레이트, 구문 명령어, 중복 조각을 제거했습니다. 데이터셋은 약 1,200 만 개의 주석에서 660 만 개의 주석으로 축소되어 (토큰 수 89% 감소), LLM 의 추론 비용을 크게 낮췄습니다.
   • 보조 분석: 최종 PDF 에는 포함되지 않았으나 번들에 존재하는 미참조 파일이 격리되었습니다. 이러한 파일들은 종종 민감한 워크플로우 잔여물을 포함합니다. 이미지 제거 전에 EXIF 메타데이터가 추출되었습니다.

3. 3 단계: 데이터 마이닝

   • 패턴 매칭: 구조화된 데이터 (IP, URL, 이메일, IBAN) 와 1,750 개의 알려진 비밀 패턴을 탐지하기 위해 정규식과 TruffleHog와 같은 도구를 사용했습니다.
   • LLM 기반 추출: 저자 간 분쟁, 동료 검토 코멘트, 비표준 자격 증명과 같은 맥락 의존형 비밀을 탐지하기 위해 저자들은 300 개의 합성 주석 스니펫으로 구성된 벤치마크인 LLMSec-DB를 도입했습니다.
   • 벤치마킹: 25 개의 최첨단 LLM 이 정확도 (EMA) 와 최소 하나 정확도 (ONE) 를 사용하여 LLMSec-DB 에서 평가되었습니다.
   • 모델 선정: Qwen-2.5 72B는 높은 정확도 (80.0% EMA) 와 GPT-5(100 만 토큰당 1.25 달러) 에 비해 현저히 낮은 비용 (100 만 토큰당 0.07 달러) 으로 대규모 처리를 위해 선정되었습니다.

4. 4 단계: 분석 및 검증

   • 자동화된 후처리 과정이 오탐지를 필터링했습니다.
   • 휴먼-인-더-루프: 중요한 발견 (자격 증명, PII) 은 수동 검증을 거쳤습니다.
   • 윤리적 제약: 본 연구는 엄격한 "수동 검증" 프레임워크를 준수했습니다. 유출된 자격 증명은 라이브 시스템에서 테스트되지 않았으며, 개인 콘텐츠는 접근되거나 공유되지 않았습니다. 발견 사항은 익명화되었으며, 연락처가 가능한 경우 영향받은 저자들에게 통보되었습니다.

주요 기여

• LaTeXpOsEd 프레임워크: 엔티티 추출, 패턴 매칭, 그리고 LLM 의 맥락 이해를 결합하여 LaTeX 소스 파일을 체계적으로 처리하고 자동화된 감사를 통해 놓친 비밀을 발견하는 새로운 방법론.
• 대규모 사전출판물 분석: 100,000 건의 제출물 (1.2TB) 을 조사하여 체계적인 유출을 정량화한 사전출판물 소스 파일에 대한 최초의 포괄적인 보안 감사.
• LLMSec-DB 벤치마크: 과학 문서 내 비밀 탐지에 대한 LLM 평가를 위한 새로운 벤치마크로, 비용, 정확도, 오픈 소스 가용성에 대한 비교 분석을 용이하게 함.
• 유출에 대한 경험적 증거: 수천 건의 PII 노출, 수백 건의 자격 증명 유출, 개인 클라우드 링크, 그리고 의미론적 유출 (내부 분쟁, 기밀 동료 검토) 발견.

결과

100,000 건의 제출물 분석 결과, **9.9% 의 논문 (9,926 건)**이 적어도 하나의 민감한 공개를 포함하고 있어 13,806 건의 고유 탐지가 발생했습니다.

유출된 정보의 유형

• 자격 증명 (심각): 명시적인 사용자 이름/비밀번호 쌍 47 건, AWS 액세스 키 2 개, 그리고 JWT 5 개.
• 개인 식별 정보 (PII, 높음): 이름, 이메일, 전화번호 등 6,984 건의 PII 노출 (26 개의 사회보장번호 및 92 개의 유효한 IBAN 포함).
• 동료 검토 및 갈등 (중간): 3,386 건의 동료 검토 분쟁 및 3,283 건의 저자 간 갈등/내부 불일치.
• 미참조 산출물: JSON/YAML 구성 파일, 데이터베이스 산출물, 그리고 임베디드 토큰 및 디버깅 추적을 포함하는 소스 코드가 미참조 파일에서 발견되었습니다.
• 메타데이터: 631 개의 이미지가 위치 좌표 및 장치 식별자 등 민감한 EXIF 데이터를 포함하고 있었습니다.
• 접근 링크: Google Drive, Dropbox 등 650 개의 개인 클라우드 저장소 링크가 발견되었으며, 이 중 3 분의 2 는 추가 인증 없이 접근 가능했습니다.

모델 성능

• Qwen-2.5 72B는 성능과 비용의 가장 좋은 균형을 달성하여 80.0% 의 정확도 (Exact-Match Accuracy) 와 91.0% 의 최소 하나 정확도 (At-Least-One Accuracy) 를 기록했습니다.
• GPT-5는 전체 코퍼스에 대해 약 18 배 높은 비용으로 82.7% 의 가장 높은 정확도 (EMA) 를 달성했습니다.
• TruffleHog(패턴 기반) 는 맥락 민감형 데이터에 대해 성능이 저조하여 높은 오탐지율 (EMA < 10%) 로 4 개의 실제 자격 증명만 탐지했습니다.

경제적 타당성

본 연구는 민감한 정보의 대규모 추출이 저자원 적대적 행위자에게 경제적으로 타당함을 입증합니다. Qwen-2.5 72B 파이프라인을 사용하여 100,000 건의 논문을 분석하는 총 비용은 약 90 달러였습니다 (S3 검색 37 달러 + LLM 추론 50.4 달러). 이를 전체 arXiv 코퍼스로 외삽하면 비용은 수천 달러 수준 (~3,300 달러) 으로 유지되어 이는 확장 가능한 위협이 됩니다.

중요성 및 주장

이 논문은 사전출판물 아카이브에서 민감한 정보를 대규모로 추출하는 행위가 개인과 기관에 대한 심각한 보안 및 평판 위협을 구성한다고 주장합니다.

• 체계적 위험: 유출은 예외적인 사례가 아니라 제출물의 거의 10% 에 영향을 미치는 체계적인 문제입니다.
• 현재 관행의 한계: 저자가 수동으로 소스 파일을 정제하는 것에 의존하는 것은 불충분합니다. 논문은 저자들이 주석과 보조 파일이 영구적으로 공개된다는 것을 반드시 이해하지 못한 채 배포 권한을 부여하는 "구조적 격차"를 강조합니다.
• LLM 의 효능: 본 연구는 LLM 이 특히 비구조화된 과학 텍스트에서 전통적인 정규식 기반 도구가 놓치는 맥락 의존형 비밀을 탐지하는 데 독보적으로 효과적임을 입증합니다.
• 행동 촉구: 저자들은 연구 커뮤니티와 저장소 운영자에게 즉각적인 안전 장치를 구현할 것을 촉구합니다.
  • 저자 측: 소스 패키지 정제 (주석 제거, 사용하지 않는 파일 제거) 및 프로젝트 트리에 비밀 저장 금지.
  • 플랫폼 측: 업로드 시 명시적 경고 제공, 선택적 정제 도구 제공 (예: 주석 제거), 출판 전 민감한 데이터 스캔.

저자들은 그들의 작업이 특정 개인을 폭로하기 위한 것이 아니라 인프라 위험을 강조하기 위한 "수동 검증" 감사임을 강조합니다. 모든 도구, 벤치마크, 스크립트는 오픈 과학과 책임 있는 공개를 지원하기 위해 공개적으로 배포되었습니다.