기술 요약: 구문 요소에 대한 시선 전이를 통한 효과적인 프로그램 이해 전략 식별

문제 정의

프로그램 이해는 소프트웨어 공학에서 중요한 활동이지만, 개발자가 소스 코드를 이해하기 위해 사용하는 구체적인 인지 과정은 여전히 부분적으로 불투명한 상태로 남아 있다. 전통적인 안구 추적 연구는 디스플레이 기반 좌표(화면 위치)를 사용하여 시선 행동을 분석해 왔으나, 이러한 접근 방식은 의미론적 맥락이 부족하다는 한계가 있다. 최근 연구에서는 시선 데이터를 추상 구문 트리(AST)의 노드 간 전이로 변환하는 구문 기반 분석을 도입하였다. 그러나 기존 연구는 주로 고정 비율(특정 구문 요소에 머무는 시간)에 집중해 왔으며, 요소 간의 *전이(transitions)*에 대해서는 충분히 다루지 않았다. 결과적으로, 특정 구문 구조에 대한 시선 전이 패턴과 프로그램 이해 과제의 정답 여부 사이의 관계는 여전히 불분명하다. 본 연구는 for 루프 구조 및 메서드 경계와 같은 특정 구문 요소에 대한 시선 전이 패턴이 성공한 참가자와 실패한 참가자 사이에서 어떻게 다른지 조사함으로써 이 격차를 해소하고자 한다.

연구 방법론

데이터 수집 및 참가자

본 연구는 Ishida와 Uwano [2019]의 기존 안구 추적 데이터셋을 활용하였다. 참가자는 일본 국립기술고등전문학교(KOSEN) 나라 대학의 학생 14명(연령 19~21세)으로, 기초 Java 프로그래밍 과정을 이수한 인원이다.

• 과제: 참가자들은 16개의 프로그램 이해 과제(저난이도 8개, 고난이도 8개)를 수행하였다. 과제는 일본어 명세서와 그에 대응하는 Java 소스 코드를 읽고 프로그램 동작(예: 특정 실행 시점에서의 변수 값)에 관한 질문에 답하는 방식으로 구성되었다.
• 조건: 과제당 2분 30초의 시간 제한이 부과되었다. 과제는 제한 시간 내에 정답을 맞히면 "성공(successful)", 그렇지 않으면 "실패(unsuccessful)"로 분류되었다.
• 하드웨어: Gaze 데이터는 Tobii Eye Tracker 4C(샘플링 레이트 90 Hz)를 사용하여 수집되었다.

좌표-구문 매핑 (Coordinate-to-Syntax Mapping)

본 연구는 가공되지 않은 시선 데이터를 구문 전이로 변환하기 위해 Yoshioka와 Uwano [2024]가 제안한 좌표-구문 매핑 방법을 사용하였다:

1. 변환: 원시 화면 좌표(X, Y)를 소스 코드의 라인 및 컬럼 위치로 변환한다.
2. 토큰 매핑: 해당 위치를 소스 코드의 특정 토큰에 매핑한다.
3. AST 연결: 토k은 파서(parser)에 의해 생성된 구문 트리의 노드와 연결된다.
4. 집계: 동일한 토큰에 대한 연속적인 고정(fixation)을 하나의 고정으로 병합한다. 출력값은 사용자의 시선 경로를 나타내는 구문 노드(예: classDeclaration, methodDeclaration, expression)의 시퀀스가 된다.

분석 기법

연구는 두 가지 연구 질문(RQ)에 초점을 맞추었다:

• RQ1: for-루프 구조와 관련된 시선 전이의 차이.
• RQ2: 메서드 간의 시선 전이 차이.
  이를 위해 저자들은 빈번한 순차 패턴 마이닝을 위한 cSPADE 알고리즘 [Zaki 2001]을 적용하였다.
• For-Loops: for 문은 세 가지 구문 구성 요소인 INIT(초기화), COND(조건), UPD(증감식)로 분해되었다.
• Methods: 전이는 고수준 구문 요소(예: main, method1, method2) 간에 분석되었다.
• 필터링: 성공 그룹과 실패 그룹 간의 평균 지지도(support)의 절대적 차이가 $\ge 0.1$인 패턴을 추출하였다. 두 그룹 모두에서 지지도 값이 $> 0.9$ 또는 $< 0.1$인 패턴은 차별적인 행동을 포착하기 위해 제외하였다. 통계적 유의성은 카이제곱 검정(chi-squared tests)을 통해 검증되었다.

주요 결과

for-루프에서의 시선 전이 (RQ1)

200개의 유효한 과제(성공 119, 실패 81)를 분석한 결과, 참가자들이 for-루프 구성 요소를 탐색하는 방식에서 뚜렷한 차이가 발견되었다:

• 성공한 참가자: UPD(증감식) 구성 요소를 포함하는 전이, 특히 UPD → COND 및 UPD → COND → INIT와 같은 시퀀스에서 유의미하게 높은 지지도를 보였다.
• 실패한 참가자: 전이 패턴에서 UPD 구성 요소를 누락하는 경고를 보였다. 실패 그룹에서 우세하게 나타난 패턴(예: COND → INIT → COND)에는 UPD가 거의 포함되지 않았다.
• 해석: 두 그룹 모두 INIT, COND, UPD를 개별적으로 응시하였으나, 성공한 참가자들은 증감식(UPD)과 다른 루프 구성 요소들을 함께 연계하여 자주 전이함으로써 더 통합적인 이해를 보여주었다. 이는 성공적인 이해자들이 루프의 업데이트 과정을 능동적으로 검증함을 시사한다.

메서드 간 시선 전이 (RQ2)

여러 메서드(2개 또는 3개)가 포함된 과제를 분석하였다:

• 두 개 메서드 과제: 단순한 구조(예: main과 method1)에서는 두 그룹 모두 두 메서드 사이를 빈번하게 오갔다. 전이 패턴에서 유의미한 차이가 관찰되지 않았는데, 이는 단순한 교대(alternation)가 이해 성공의 강력한 지표는 아님을 시사한다.
• 세 개 메서드 과제: 복잡한 구조에서는 유의미한 차이가 나타났다:
  • 순방향 추적 (Forward Tracing): 성공한 참가자들은 메서드 호출 관계(예: main에서 method2가 호출될 때 main → method2)를 빈번하게 따라갔다.
  • 역방향 추적 (Backward Tracing): 성공한 참가자들은 실행 흐름의 역방향 추적(예: method2 → method1 → main)을 포함하는 독특한 패턴을 보였다. 이러한 행동은 실패한 참가자들에게서는 나타나지 않았으며, 이는 실행 경로에 대한 인자 전달 및 데이터 흐름을 능동적으로 검증하고 있음을 시사한다.
  • 실패 패턴: 실패한 참가자들은 성공한 그룹에서 관찰된 심층적인 구조적 추적 없이, 두 메서드 사이의 단순하고 반복적인 교대(예: main → method1 → main)를 더 높은 빈도로 보였다.

주요 기여

1. 구문 기반 전이 분석: 본 연구는 고정 비율을 넘어 구문 노드 간의 시선 전이를 분석함으로써 기존의 구문 기반 안구 추적 연구를 확장하였다.
2. 효과적인 전략 식별: 연구는 성공적인 프로그램 이해와 관련된 구체적인 시선 패턴을 식별하였다:
   • For 루프: 읽기 흐름 속에 증감식(UPD)을 통합함.
   • 메서드: 호출 관계를 따르고 데이터 이동을 검증하기 위해 실행 흐름을 역방향으로 추적함.
3. 이해 수준의 차별화: 본 연구는 성공한 참가자와 실패한 참가자가 단순히 어디를 보느냐의 차이를 넘어, 읽기 전략의 구조에서 차이가 있음을 입증하였다. 성공한 참가자들은 더 체계적이고 재귀적인 검증 패턴을 사용한다.

의의 및 주장

본 논문은 구문 요소에 대한 시선 전이를 분석하는 것이 좌표 기반 또는 고정 비율 기반 방법보다 프로그램 이해를 더 미묘하게 이해할 수 있게 해준다고 주장한다. 연구 결과는 효과적인 이해 전략이 다음과 같은 과정을 포함함을 시사한다:

• 구조적 읽기: 성공한 참가자들은 선형적이거나 고립되어 읽지 않고, 구문 경계를 체계적으로 횡단한다.
• 상태 검증: 루프 전이에서의 UPD 존재와 메서드 호출 시의 역방향 추적은 성공적인 이해자들이 프로그램의 상태 변화와 데이터 흐름을 능동적으로 검증한다는 것을 나타낸다.

저자들은 이러한 구조화된 시선 전이가 프로그램 동작에 대한 깊은 이해를 나타낸다고 결론지었다. 또한, 향후 연구에서는 루프 헤더와 반복되는 코드 사이의 주의 전환을 더 자세히 조사하기 위해 for 문 루프 본체(body)를 포함하도록 이 분석을 확장해야 한다고 제안한다. 본 연구는 프로그램 이해 문제를 해결했다고 주장하는 것이 아니라, 과제 성공과 상관관계가 있는 특정 시각적 행동에 대한 경험적 증거를 제공하는 데 목적이 있다.