Key Distance Effects in a Controlled Synthetic Rubric-Routing Unit Test for Small Character-Level Transformers

기술 요약: 통제된 합성 루브릭-라우팅 유닛 테스트에서의 주요 거리 효과

문제 정의
자동화된 교육 시스템은 구조화된 키 필드(예: 코스 식별자, 루브릭 버전, 증거 프로필)를 기반으로 한 라우팅 결정에 점점 더 의존하고 있다. 그러나 모델이 의도된 논리적 조회를 학습한 것인지, 아니면 단순히 표면적 단서, 클래스 불균형 또는 단일 필드 예측 변수를 이용한 것인지를 판단하기는 어렵다. 기존의 최종 작업 정확도 지표는 특정 키를 유지하지 못하거나, 여러 키를 결합하는 데 실패하거나, 특정 출력 인터페이스를 통해 매핑을 표현하는 데 어려움을 겪는 것과 같은 구체적인 실패 메커니즘을 은폐한다. 본 논문은 연구자들이 실제 텍스트에 배포하기 전 라우팅 레이어를 검증할 수 있도록, 의미론적 평가로부터 '조회(lookup)' 작업을 격리하는 진단 도구의 필요성을 다룬다.

연구 방법론
본 연구는 처음부터 학습된 소규모 문자 단위 트랜스포머(character-level Transformers)를 평가하기 위해 설계된 통제된 합성 유닛 테스트를 채택한다.

• 태스크 설계: 실험은 네 개의 중립적인 소스 키(코스/루브릭 패밀리를 나타냄)와 네 개의 증거 프로필 키 사이의 완전 균형 잡힌 4 × 4 매핑을 생성한다. 이 16개의 쌍은 네 개의 중립적인 액션 클래스에 할당된다. 이 설계는 소스나 프로필 단독으로는 액션을 명목상의 0.25 확률 수준 이상으로 예측할 수 없도록 보장하며, 모델이 결합된 연관성을 학습하도록 강제한다.
• 실험 조건: 세 가지 조건이 키의 표면 구조를 테스트한다:
  1. 원자적(Atomic): 두 식별자가 포함된 단일 결합 키.
  2. 인접 인자화(Adjacent Factorized): 두 개의 별도 키가 바로 옆에 배치됨.
  3. 패딩 인자화(Padded Factorized): 256개의 중립적인 공백 문자로 분리된 두 개의 별도 키.
• 모델 아키텍처: 연구는 고정된 키-스팬 분류기(key-span classifier)를 사용하는 문자 단위 디코더 전용 트랜스포머를 사용한다. 분류기는 마킹된 소스 및 프로필 스팬으로부터 풀링된 평균 은닉 상태를 명시적인 쌍별 특징(요소별 곱 및 절대 차이)과 함께 전달받는다. 이 "헤드(head)"는 표현의 결합을 용이하게 하도록 목적에 맞게 제작되었으며, 이를 통해 성공 여부가 우연한 인자 발견이 아닌 백본(backbone)의 정보 제공 능력에 의한 것임을 보장한다.
• 규모 및 프로토콜: 연구는 두 가지 모델 크기를 비교한다: 기본 2.67M 파라미터 모델(6개 레이어, 192 임베딩 차원)과 0.8M 파라미터 복제 모델(4개 레이어, 128 임베딩 차원). 144회의 고정된 실행(매핑 실현 및 초기화 시드 변동)에 걸쳐, 모델은 2,000회의 분류 등가 횟수라는 고정된 지평선까지 학습되었다.
• 종료 지점(Endpoints): 주요 종료 지점에는 정확한 4-클래스 정확도와 정규화된 학습 곡선 면적(AUC)이 포함된다. 개입 분석(Intervention analysis)은 하나의 키를 교체하여 예측된 로그 오즈(log-odds)가 교체된 키에 의해 규정된 액션 쪽으로 이동하는 정도를 측정한다.

주요 기여

1. 합성 진단 도구: 명시적인 한계적 영값(marginal nulls)과 좁은 주장 범위를 가진 투명한 합성 테스트를 제공하여, 인자화 능력과 키 간격 효과를 분리한다.
2. 양성 대조 게이트(Positive-Control Gate): 모델이 인자화나 간격 효과에 대한 주장을 하기 전에, 원자적 결합 키에 대해 학습 가능성을 먼저 입증해야 한다는 "양성 대조" 체계를 확립한다.
3. 변수 격리: 매핑, 학습 예산, 출력 헤드 및 쿼리 템플릿을 일정하게 유지함으로써, 키의 인자화와 표면적 거리의 영향을 격리한다.
4. 행동 개입 지표: 균형 잡힌 순열 하에서 정보력이 없는 집계된 도너 정확도 대신, 특정 키가 의사결정을 행동적으로 지배하는지 확인하기 위해 사례 내 로그 오즈 변화를 사용한다.

결과

• 양성 대로(Positive Control): 원자적 결합 키 조건은 두 모델 크기 모두에서 양성 대조로서 통과하였으며(기본 모델의 평균 정확도 ~0.89, 복제 모델 ~0.83), 이는 인터페이스가 학습 가능하다는 것을 확인해 준다.
• 인자화 (인접 vs. 원자적): 기본(더 큰) 모델에서 인접 인자화 키는 원자적 키와 비교하여 열등하지 않았다(차이 -0.010, -0.10 마진 통과). 작은 모델에서는 평균 차이가 음수(-0.081)였으나, 시드 수준의 변동성이 더 높았기 때문에 통계적으로 비열등하다고 결론지어지지 않았으며, 이는 구조적 실패보다는 초기화 민감성을 시사한다.
• 키 거리 (패딩 vs. 인접): 키를 256개의 문자로 분리하는 것은 두 모델 모두에서 성능을 크게 저하시켰다.
  • 정확도: 최종 정확도를 약 0.25 감소시켰다 (예: 기본 모델에서 0.88에서 0.63으로 감소).
  • 학습 역학: 정규화된 학습 곡선 AUC를 약 0.04 감소시켜, 매핑 형성이 느리거나 지속되지 않음을 나타냈다.
  • 신뢰도: 패딩 조건은 더 높은 예측 엔트로피와 더 나쁜 기대 순위(expected rank)를 보였다.
• 개입 분석: 인접 조건에서 소스 또는 프로필 키를 교체하면 교체된 키에 의해 규정된 액션 쪽으로 예측 분포가 일관되적으로 이동하였으며, 이는 두 키가 의사결정 과정에 행동적으로 사용되고 있음을 확인시켜 준다.

의의 및 주장
본 논문은 이 통제된 인터페이스에서 표면적 키 거리가 매핑의 내용보다 라우팅 성공을 결정하는 핵심 요소라고 주장한다. 연구 결과는 작은 트랜스포머가 키가 인접해 있다면 인자화된 키를 처리할 수 있지만, 상당한 간격(컨텍스트 윈도우 내에서도)을 도입하는 것은 최종 정확도와 학습 속도 모두에 상당한 페널티를 부여한다는 것을 시사한다.

본 연구는 이 패러다임이 의미론적 평가가 아닌 조회 메커니즘을 격리함을 강조한다. 연구자들은 교육 시스템의 라우팅 실패를 추론 결함이나 인자화 제한의 탓으로 돌리기 전에, 먼저 시스템이 선택된 출력 채널을 통해 목표 매핑을 표현할 수 있는지(양성 대조)를 확립하고, 프롬프트 기하학이 필요한 필드의 결합을 인위적으로 방해하지 않는지 확인해야 한다고 주장한다. 본 작업은 실제 텍스트 및 운영 아키텍처에 대한 평가에 앞서 진단 단계로서 합성 유닛 테스트를 사용할 것을 권장한다.