Predicting Human Visual Attention on Words in Source Code

기술 요약: 소스 코드 내 단어에 대한 인간의 시각적 주의 예측

문제 정의
소프트웨어 엔지니어링 작업 중 인간의 시각적 주의를 이해하는 것은 사용자 인터페이스 디자인을 최적화하고, 소프트웨어 엔지니어링 도구를 개선하며, 인간의 인지 과정을 모델링하는 데 매우 중요하다. 프로그래머가 소스 코드를 읽는 방식을 연구하기 위해 아이 트래킹(eye-tracking) 데이터가 사용되어 왔으나, 이를 계산적으로 예측하는 것은 여전히 도전적인 과제이다. 기존의 접근 방식은 두 가지 범주로 나뉜다. 하나는 주의를 공간 좌표로 취급하고 코드의 의미 정보를 무시하는 일반 컴퓨터 비전 모델이며, 다른 하나는 코드 읽기의 복잡하고 회귀(regression)가 빈번한 특성에 적용하기 어려운 텍text-reading 모델이다. 또한, 대규모 언어 모델(LLM)이 어텐션 메커즘을 보유하고 있음에도 불구하고, 이들의 내부 어텐션이 특정 과업 지향적인 코드 읽기 과정에서 인간의 시각적 주의와 일치하는지는 아직 확립되지 않았다. 본 논문이 해결하고자 하는 격차는 아이 트래킹 데이터를 활용하여 기계의 어텐션을 인간의 인지 패턴과 정렬함으로써, 미세한 수준의 시각적 주의(소스 코드 내 특정 단어)를 예측할 수 있는 계산 모델의 부재이다.

방법론
저자들은 실제 아이 트래킹 데이터를 사용하여 미세 조정(fine-tuning)된 사전 학습된 트랜스포머 아키텍처(구체적으로 350M 파라미터 규모의 GPT-2 스타일 모델인 jam 모델)를 기반으로 한 계산 모델을 제안한다. 방법론은 세 가지 주요 구성 요소로 이루어진다:

1. 예측 대상: 모델은 소스 코드 스니펫 내 각 단어에 대한 **총 시선 시간 백분율(Percent Total Gaze Time, ptgt)**을 예측한다. ptgt는 특정 단어(관심 영역, ROI)에 머문 총 시선 시간을 전체 코드 아티팩트에 대한 총 시선 시간으로 나눈 값으로 정의된다. 이 지표는 특정 토큰에 할당된 상대적인 중요도 또는 주의를 정량화한다.
2. 입력 표현: 입력 시퀀스는 소스 코드 토큰, 고정(fixation) 토큰(인간의 눈이 멈춘 단어), 그리고 고정 토큰에 인접한 토큰들로 구성된다.
3. 커스텀 손실 함수: 핵심 혁신은 미세 조정 과정에서 모델의 내부 어텐션을 인간의 주의와 정렬하도록 설계된 새로운 손실 함수이다. 과정은 다음과 같다:
   • 어텐션 추출(Attention Readout): 최종 트랜스포머 레이어(이전 연구에서 깊은 레이어가 인간의 주의와 더 잘 일치한다는 결과에 따라 헤드 10~16의 평균값 추출)로부터 어텐션 행렬($Q$ 및 $K$)을 추출한다.
   • 기계 어텐션 점수: 고정 토큰과 그 주변 토큰 사이의 어텐션 확률을 평균하여 스칼라 어텐션 점수($\hat{a}$)를 계산한다.
   • 인간 감독(Human Supervision): 기계의 어텐션 점수($\hat{a}$)와 정답인 인간의 ptgt($a$) 사이의 유사도를 계산한다.
   • 손실 구성: 전체 손실($L$)은 언어 모델링을 위한 표준 범주형 교차 엔트로피(Categorical Cross-Entropy, CCE) 손실과 두 가지 보조 항을 결합한다. 보조 항은 시선 시간의 절대적 크기를 강제하기 위한 평균 제곱 오차(MSE)와, 주의의 상대적 구조(높은 주의와 낮은 주의 토큰의 순위)를 강제하기 위한 변환된 피어슨 상관관계 손실($L_{corr}$)이다. 손실은 보조 항들이 언어 모델링 목적 함수를 압도하지 않도록 동적으로 재조정된다.

주요 기여

• 새로운 손실 함수: MSE와 피어슨 상관관계를 모두 활용하여 인간의 시각적 주의(ptgt)와 신경망의 내부 셀프 어텐션 사이의 괴리를 명시적으로 최소화하는 손실 함수를 설계하였다.
• 미세 단위 예측: 거친 수준의 생체 인식이나 과업 난이도 예측을 넘어, 소스 코드 내 개별 단어(토큰) 수준에서 주의를 예측한다.
• 절제 연구(Ablation Study): 피어슨 상관관계 구성 요소가 모델 성능에 기여하는 바를 입증하는 체계적인 평가를 수행하였다.
• 스캔패스(Scanpath) 예측 확장: 인간의 사고 과정을 이해하는 작업인 고정 순서(스캔패스) 예측 작업에 어텐션 정렬 모델을 적용하였다.

실험 결과
모델은 Java 및 C 프로그래밍 언어와 코드 문서화 및 버그 로컬라이제이션(Smith, Wallace, Rodeghero 연구) 작업을 포함하는 세 가지 별도의 데이터셋에서 평가되었다.

• 주의 예측 (RQ1): 제안된 모델은 소프트웨어 엔지니어링(Bansal et al.) 및 컴퓨터 비전(Tafasca et al.) 분야의 베이스라인 모델들을 유의미하게 능가하였다.
  • Wallace 연구(Java)에서 모델은 0.45의 피어슨 상관관계를 달성하였으며, 이는 베이스라인들(0.27 및 0.21)보다 높은 수치로, 최선 베이스라인 대비 64% 향상된 결과이다.
  • Rodeghero 연구(Java)에서 모델은 0.48을 달성하여 베이스라인(0.41 및 0.42) 대비 16% 향상되었다.
  • Smith 연구(C)에서 모델은 0.25를 달성하여 베이스라인(0.04 및 0.04) 대비 467% 향상된 성능을 보였다.
  • 모델의 집계된 인간 참조값과의 유사도는 개별 인간 참가자 간의 유사도와 비슷하거나 일부 지표에서 이를 상회하였는데, 이는 모델이 개별적 가변성에 의해 가려진 "합의된" 주의 구조를 포착하고 있음을 시사한다.
• 절제 연구 (RQ2): 피어슨 상관관계 손실을 제거했을 때 모든 지표(Pearson, Spearman, Kendall, Cosine)에서 성능이 저하되었으며, 이는 상관관계 항이 주의의 올바른 순위를 학습하는 데 필수적임을 확인시켜 준다.
• 스캔패스 예측 (RQ3): 코드 요약 작업을 위한 Bansal et al. 데이터셋을 사용했을 때, 모델은 정규화된 레벤슈타인 거리(Normalized Levenshtein Distance, NLD), NDCG, 정밀도(Precision), 재현율(Recall) 측면에서 기존 Bansal 베이스라인 및 상용 모델(GPT-5 Nano 및 Claude-Haiku-4.5)보다 우수한 성능을 보였다. 특히, 모델은 상용 모델들이 보여주는 "외계적(alien)" 사고 과정과 달리, 인간 프로그래머와 더 밀접하게 일치하는 스캔패스(예: 단순히 시그니처에 집중하는 것이 아니라 메서드 본문에 집중함)를 예측하였다.

의의 및 주장
본 논문은 인간의 아이 트래킹 데이터를 포함하는 커스텀 손실 함수로 미세 조정된 트랜스포머 기반 언어 모델이 소스 코드 단어에 대한 집계된 인간의 시각적 주의를 효과적으로 예측할 수 있다고 주장한다. 저자들은 이 모델이 특정 개인의 대리인이 아니라 집계된 주의 구조의 추정치(estimator of aggregate attentional structure) 역할을 한다는 점을 강조한다.

주요 주장은 다음과 같다:

1. 정렬(Alignment): 인간의 데이터에 의해 유도된 기계의 어텐션은 코드 단어에 대한 인간의 주의 분포를 인간 간의 합의 수준과 유사한 정확도로 모방할 수 있다.
2. 과업 이해: 스캔패스 예측에서의 향상된 성능은 인간의 시각적 패턴과 내부 어텐션을 정렬하는 것이 인간의 사고 과정을 이해해야 하는 과업(예: 코드 요약)을 처리하는 모델의 능력을 향상시킨다는 것을 시사한다.
3. 한계점: 저자들은 모델이 시간을 따라 주의를 집계하므로 시간적 역동성과 회귀 패턴을 상실한다는 점을 언급하며 신중한 태도를 보였다. 또한, 모델이 인간의 주의 메커니즘에 대한 완전한 설명은 아니며, 모델의 용량(1,024 토큰)보다 큰 컨텍스트 윈도우를 요구하는 작업이나 훈련 데이터에 포함되지 않은 언어/과업에는 결과가 일반화되지 않을 수 있다고 주의를 준다.

본 연구는 프로그래머의 인지를 계산적으로 모델링하는 진일보한 단계로 자리매김하며, 프로그래머에게 어떤 정보가 필요한지 이해하고 인간의 인지 과정에 부합하는 인터페이스를 설계하는 데 도움이 되는 도구를 제공한다.