GoCoMA: Hyperbolic Multimodal Representation Fusion for Large Language Model-Generated Code Attribution

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 이 방대한 코드 코퍼스로 학습되면서, 인간이 작성한 코드와 구별하기 어려운 고품질 코드를 생성할 수 있게 되었습니다. 이로 인해 다음과 같은 심각한 문제가 발생하고 있습니다:

• 보안 및 라이선스 문제: LLM 이 생성한 취약한 코드나 라이선스 문제가 있는 코드의 출처를 추적하기 어렵습니다.
• 저자 Attribution 의 어려움: 기존 코드 저자 추적 (Code Authorship Attribution, CAA) 연구는 주로 소스 코드의 스타일 (stylometry), 문법 구조 (AST), 주석 패턴 등 고수준 특징에 의존했습니다.
• 기존 방법의 한계: 소스 코드만으로는 실행 시의 깊은 행동적 신호나 컴파일 과정에서의 저수준 (low-level) 신호를 포착하지 못합니다. 또한, 기존 심층 표현 학습 (Deep Representation Learning) 은 다중 언어 환경에서 성능이 저하되거나, 워터마킹이 적용되지 않은 과거 생성 코드에는 적용이 불가능합니다.

2. 제안 방법론: GoCoMA (Methodology)

이 논문은 GoCoMA(Geodesic Cosine similarity-based cross-Modal Attention) 라는 새로운 멀티모달 프레임워크를 제안합니다. 이는 소스 코드와 이진 파일 (Binary Pre-Executable Artifact, BPEA) 의 이미지를 결합하여 LLM 의 생성 코드를 식별하는 것을 목표로 합니다.

가. 핵심 아이디어: 외재적 위계 (Extrinsic Hierarchy)

• 고수준 (High-level): 소스 코드 PLM(Code PLM) 은 어휘, 구문, 의미적 단서를 포착합니다.
• 저수준 (Low-level): BPEA 를 이미지로 변환하여 비전 PTM(Vision PTM) 으로 분석하면, 컴파일러와 툴체인에 의해 형성된 바이트 레벨의 구조 및 최적화 패턴을 포착합니다.
• 위계적 관계: 이 두 모달리티는 단순한 병렬 관계가 아니라, 추상화 수준이 다른 위계적 (Hierarchical) 관계를 가집니다.

나. 아키텍처 및 프로세스

1. BPEA-to-Image 변환: 소스 코드를 컴파일하여 생성된 바이트 파일 (.o, .class, .pyc 등) 을 연속적인 바이트 스트림으로 읽어 고정된 너비의 RGB 이미지로 변환합니다. 이는 말웨어 분석 기법을 차용한 것입니다.
2. 특징 추출:
   • Code PLM: CodeT5+, Qwen2.5-Coder, UniXcoder, CodeBERT 등을 사용하여 소스 코드 임베딩을 추출합니다.
   • Vision PTM: ConvNeXT, EfficientNetV2-M, ViT-Base, MaxViT-T 등을 사용하여 BPEA 이미지 임베딩을 추출합니다.
3. 쌍곡선 공간 (Hyperbolic Space) 투사:
   • 유클리드 공간의 임베딩을 푸앵카레 구 (Poincaré ball) 라는 쌍곡선 공간으로 투사합니다.
   • 이유: 쌍곡선 공간은 계층적 구조 (Tree-like structure) 를 표현하는 데 유클리드 공간보다 효율적이며, 고수준 추상화와 저수준 세부 사항 간의 관계를 왜곡 없이 유지할 수 있습니다.
4. GCSA 퓨전 (Geodesic-Cosine Similarity Attention):
   • 쌍곡선 공간 내에서 측지선 (Geodesic) 거리를 기반으로 한 교차 모달 어텐션 (Cross-modal Attention) 을 수행합니다.
   • 코드의 Query 와 이미지의 Key/Value 간 유사도를 쌍곡선 기하학을 사용하여 계산하고, 뫼비우스 합 (Möbius addition) 을 통해 특징을 융합합니다.
5. 유클리드 공간 복원 및 분류: 융합된 쌍곡선 벡터를 다시 유클리드 공간으로 역투사 (Back-projection) 한 후, 분류기 (Softmax) 를 통해 LLM 출처를 판별합니다.

3. 주요 기여 (Key Contributions)

1. 멀티모달 CAA 관점의 도입: 소스 코드와 BPEA 기반 이미지를 결합하여, 추상화 수준 간의 외재적 위계 (Extrinsic Hierarchy) 를 모델링하는 최초의 프레임워크를 제안했습니다.
2. 기하학적 인식 쌍곡선 퓨전: 위계적 관계를 보존하기 위해 유클리드 공간이 아닌 쌍곡선 공간 (Poincaré ball) 에서 GCSA(측지선 코사인 유사도 기반 교차 어텐션) 메커니즘을 도입했습니다.
3. 성능 입증: 두 개의 오픈 소스 벤치마크 (CoDET-M4, LLMAuthorBench) 에서 기존 단일 모달리티, 유클리드 기반 멀티모달, 최신 LLM 기반 (Zero-shot/Few-shot) 베이스라인을 모두 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • CoDET-M4: 3 개 언어 (C++, Java, Python), 3 개 도메인, 인간 및 5 개 LLM(Open-weight 및 GPT-4o) 생성 코드 약 50 만 개.
  • LLM-AuthorBench: 8 개의 최신 LLM(GPT-4.1, Claude-3.5 등) 이 생성한 32,000 개의 C 프로그램.
• 성능 비교:
  • 단일 모달리티: 소스 코드 PLM 이 이미지 PTM 보다 성능이 좋았으나, BPEA 이미지도 유의미한 보조 신호로 작용했습니다.
  • 퓨전 전략: 단순 연결 (Concatenation) < 유클리드 교차 어텐션 < 쌍곡선 뫼비우스 합 < GoCoMA(GCSA 퓨전) 순으로 성능이 향상되었습니다.
  • 최고 성능: CodeT5+ 와 ViT 를 결합한 GoCoMA 모델이 LLM-AuthorBench 에서 98.92% 정확도 (Macro-F1 93.82%), CoDET-M4 에서 88.67% 정확도를 기록했습니다.
  • LLM 베이스라인 비교: GPT-5.1 등 최신 LLM 을 Few-shot 프롬프트로 사용했을 때 (약 75% 정확도) 보다 GoCoMA(약 89~98% 정확도) 가 압도적으로 우수했습니다. 이는 범용 LLM 이 아닌, 계층적 구조를 특화하여 모델링한 접근법의 우월성을 보여줍니다.

5. 의의 및 결론 (Significance)

• 기술적 의의: 코드 저자 추적 분야에서 쌍곡선 기하학 (Hyperbolic Geometry) 이 계층적 특징 (고수준 문법 vs 저수준 바이트 패턴) 을 통합하는 데 필수적임을 입증했습니다.
• 실용적 가치: 보안 취약점, 라이선스 분쟁, 표절 문제 발생 시, 소스 코드만으로는 식별이 어려운 LLM 생성 코드를 정밀하게 추적할 수 있는 강력한 포렌식 도구를 제공합니다.
• 한계점 및 향후 과제: 현재는 공개 벤치마크와 특정 컴파일러 환경에 국한되어 있으며, 컴파일러 버전, 최적화 플래그, 코드 난독화 (Obfuscation) 등에 대한 견고성 (Robustness) 검증이 필요합니다.

요약하자면, GoCoMA 는 소스 코드의 '의미'와 컴파일된 바이너리의 '물리적 구조'를 쌍곡선 공간에서 융합함으로써, 기존 방법론으로는 불가능했던 고정밀 LLM 코드 출처 추적 시스템을 구현한 획기적인 연구입니다.