EyeLayer: Integrating Human Attention Patterns into LLM-Based Code Summarization

1. 연구 배경 및 문제 정의 (Problem)

• 코드 요약 (Code Summarization) 의 중요성: 소스 코드를 자연어로 설명하는 작업은 소프트웨어 이해 및 유지보수에 필수적입니다. 최근 대규모 언어 모델 (LLM) 이 이 분야에서 뛰어난 성과를 보이고 있지만, 여전히 인간의 전문성이 반영된 '인간 중심의 요약'을 생성하는 데에는 한계가 있습니다.
• 기존 모델의 한계: LLM 은 방대한 코드 - 요약 쌍 데이터로 학습되었으나, 개발자가 코드를 이해할 때 실제로 어떤 부분에 집중하는지 (Attention) 를 반영하지 못해, 의미적으로 중요한 부분을 놓치거나 표면적인 문맥만 파악하는 경우가 많습니다.
• 핵심 질문: 개발자의 코딩 중 시선 (Eye-gaze) 패턴과 같은 인간 전문성 지식을 LLM 에 통합하여 코드 요약 성능을 더 향상시킬 수 있는가?

2. 제안 방법론: EyeLayer (Methodology)

저자들은 EyeLayer라는 경량화된 어텐션 증강 모듈을 제안합니다. 이는 인간의 시선 추적 데이터를 '전이 가능한 확률적 사전 지식 (Transferable Probabilistic Priors)'으로 활용하여 LLM 의 어텐션 메커니즘을 보완합니다.

2.1 핵심 아이디어: 다중 모드 가우시안 혼합 (Multimodal Gaussian Mixture)

• 인간 주의 패턴 모델링: 개발자가 코드를 읽을 때, 의미적으로 중요한 영역에 집중하고 주변 맥락은 부수적으로 주시하는 불균형적인 주의 분포를 보입니다. EyeLayer 는 이를 **가우시안 혼합 모델 (Gaussian Mixture)**로 수학적으로 모델링합니다.
• 학습 매개변수: 각 가우시안 성분은 중심 ($\mu_i$, 의미적 위치) 과 분산 ($\sigma^2_i$, 주의의 확산 범위) 을 가지며, 희소 게이트 네트워크 (Sparse Gating Network) 를 통해 코드 복잡도에 따라 필요한 모드 (1~3 개) 를 동적으로 선택합니다.

2.2 아키텍처 및 통합 방식

• 데이터 정렬 (Alignment Pipeline): 시선 추적 데이터는 AST(추상 구문 트리) 노드 수준에서 수집되지만, LLM 은 서브토큰 (subtoken) 단위로 작동합니다. 저자들은 AST 노드를 모델의 서브토큰 인덱스로 매핑하는 3 단계 정렬 파이프라인을 통해 이 간극을 해소했습니다.
• 인과적 주의 재분배 (Causal-Aware Attention Redistribution):
  • 디코더 전용 모델 (LLaMA, Qwen 등): 중간 레이어에 후크 (Hook) 를 삽입하여 은닉 상태 (Hidden States) 를 가로채고, 가우시안 분포에 기반한 저랭크 (Low-rank) 교란 (Perturbation) 을 적용합니다. 이는 어텐션 마스크를 직접 변경하지 않고 은닉 표현을 부드럽게 조정하여 인과적 (Causal) 속성을 유지합니다.
  • 인코더 전용 모델 (CodeBERT): 인코더 출력에 인간 어텐션 사전 지식을 주입한 후 디코더로 전달합니다.
• 학습 전략:
  • 이중 데이터셋 전략: 대규모 코드 - 요약 데이터 (CodeXGLUE) 와 소규모 시선 추적 데이터 (EyeTrans, 27 명 개발자) 를 분리하여 사용합니다.
  • 공동 학습 (Joint Training): 생성 손실 (Generation Loss) 과 정렬 손실 (Alignment Loss) 을 결합하며, PCGrad(Projecting Conflicting Gradients) 를 사용하여 두 목적 함수 간의 그래디언트 충돌을 해결합니다.

3. 주요 기여 (Key Contributions)

1. 인지적 사전 지식 통합 프레임워크: 시선 추적 데이터를 전이 가능한 확률적 사전 지식으로 활용하여 인간 주의 행동과 LLM 의 어텐션 형성 간의 다리를 구축했습니다.
2. Multimodal Gaussian EyeLayer 설계: 학습 가능한 가우시안 혼합을 통해 코드 임베딩을 재분배하는 경량 모듈을 설계했습니다. 이는 희소한 인간 신호를 수십억 파라미터 모델에 확장 가능하게 통합하면서도 기존 아키텍처를 변경하지 않습니다.
3. 포괄적인 평가: 인코더 전용 (CodeBERT) 과 디코더 전용 (LLaMA, Qwen) 아키텍처를 아우르는 5 개의 다양한 모델에서 일관된 성능 향상을 입증했습니다.
4. 오픈 소스: 구현 코드와 데이터셋을 공개하여 재현성과 후속 연구를 장려합니다.

4. 실험 결과 (Results)

저자들은 CodeXGLUE 벤치마크를 사용하여 5 개의 모델 (CodeBERT, LLaMA-3.2-1B/3B, Qwen3-1.7B/4B) 에 대해 실험을 수행했습니다.

• 성능 향상: 모든 모델에서 강력한 파인튜닝 (SFT) 베이스라인을 능가했습니다. 특히 BLEU-4 점수에서 최대 13.17% 향상을 기록했습니다.
  • 예: LLaMA-3.2-1B 모델에서 BLEU-4 가 14.31 에서 16.18 로 증가 (+1.87).
  • 예: Qwen3-1.7B 모델에서 ROUGE-L 이 21.39 에서 26.67 로 크게 증가 (+5.28).
• 모델 크기에 따른 효과: 작은 모델이나 인스트럭션 튜닝이 덜 된 모델에서 더 큰 개선을 보였습니다. 이는 제한된 모델 용량에서 인간 주의 신호가 강력한 인덕티브 신호 (Inductive Signal) 로 작용함을 시사합니다.
• 위치 분석 (RQ2): 어텐션 모듈을 트랜스포머의 **중후반부 레이어 (Layer 13 등)**에 삽입했을 때 성능이 최적화되었습니다. 이는 의미적 표현이 충분히 형성된 상태에서 인간의 주의 패턴을 적용하는 것이 가장 효과적임을 의미합니다.
• 다중 모드 설계의 효과 (RQ4): 단일 가우시안 모델보다 다중 모드 (Multimodal) 설계가 훨씬 우수한 성능을 보였습니다. 복잡한 함수는 여러 개의 관심 영역을 동시에 필요로 하므로, 단일 모드만으로는 이를 포착할 수 없음을 입증했습니다.

5. 의의 및 결론 (Significance)

• 인지 기반 AI 의 실증: 이 연구는 단순히 데이터 양을 늘리는 것이 아니라, 인간의 인지 과정 (시선 추적) 을 모델에 통합함으로써 LLM 의 성능을 향상시킬 수 있음을 실증했습니다.
• 해석 가능성 및 신뢰성: 모델이 개발자가 실제로 집중하는 코드 영역에 주의를 기울이도록 유도함으로써, 생성된 요약의 의미적 정확도를 높이고 AI 도구에 대한 개발자의 신뢰를 강화할 수 있습니다.
• 확장성: EyeLayer 는 모델 아키텍처 (인코더/디코더) 나 규모에 구애받지 않고 적용 가능하며, 향후 버그 위치 파악, 코드 리뷰 등 다른 소프트웨어 공학 작업으로도 확장 가능성이 큽니다.

결론적으로, EyeLayer 는 인간의 전문성을 경량화된 모듈로 변환하여 LLM 에 주입함으로써, 기계 학습 모델이 인간과 유사한 방식으로 코드를 이해하고 요약할 수 있게 하는 획기적인 접근법입니다.