기술 요약: TRACE – 응용 행동 분석을 위한 분류론 기반 합성 데이터셋

문제 제기

응용 행동 분석 (ABA) 은 자폐 스펙트럼 장애에 대한 지배적인 증거 기반 치료법으로, 교수 프로그램 및 다중 세션 행동 로그를 포함한 대량의 공식적인 임상 문서 생성을 수반합니다. 그러나 이러한 문서를 작성할 수 있는 언어 모델 (LM) 의 개발은 데이터 접근성에 심각한 제약을 받고 있습니다. 실제 세션 데이터는 HIPAA 규정과 전문적 비밀 유지 규칙에 의해 보호되어 훈련 코퍼스의 공개가 불가능합니다. 식별이 제거된 공개 자료는 종종 효과적인 모델 훈련에 필요한 세밀한 임상 세부 사항을 보존하지 못합니다. furthermore, 이전 연구에서 ABA 에 인공지능을 적용하는 방안을 탐구해 왔으나, 기존 솔루션들은 독점적이거나 공개되지 않은 데이터셋에 의존하거나 다중 세션 행동 해석이라는 복잡한 과제를 다루지 못했습니다. 또한 이 분야는 임상 환경에서의 환각 현상에 대한 윤리적 우려와 AI 지원 서비스 제공을 위한 검증된 도구의 부재라는 문제에 직면해 있습니다.

방법론

저자들은 결정론적이고 분류론 기반의 파이프라인을 통해 생성된 합성 지시 미세 조정 데이터셋인 TRACE(Taxonomy-Referenced ABA Clinical Examples, 분류론 참조 ABA 임상 예시) 를 제시합니다.

1. 분류론 및 임상적 근거

이 방법론의 핵심은 임상 영역별로 조직된 YAML 파일로 인코딩된 통제된 어휘입니다. 이 어휘의 모든 요소는 표준 ABA 문헌과 윤리 강령에 근거하고 있으며, 다음을 포함합니다:

• 교과서: 운영적 정의와 교수법을 위한 Cooper 등 (2020).
• 기능적 분석: 행동 기능을 위한 Iwata 등 (1994) 과 Hanley 등 (2003).
• 교육 과정: 기술 목표와 숙달 상태를 위한 VB-MAPP 및 AFLS.
• 윤리: 위기 계획에 대한 BACB 윤리 강령 및 ABAI 입장 성명.

이 분류론은 두 가지 주요 과제를 다룹니다:

• 교수 프로그램 생성: 이산 시련 훈련 (DTT), 자연 환경 교수 (NET), 그리고 작업 분석을 포괄합니다.
• 세션 해석: 다중 세션 로그에 걸친 12 가지 궤적 패턴과 13 가지 목표 행동을 다룹니다.

2. 결정론적 생성 루프

데이터셋 생성 과정은 구성 파일과 무작위 시드에 의해 주도되는 완전한 결정론적 과정입니다. 각 예시마다 시스템은 다음을 수행합니다:

1. 샘플링: 임상 빈도에 가중치를 두어 분류론에서 임상적으로 유효한 구성을 샘플링합니다.
2. 호환성 규칙 적용: 일관성 없는 조합을 거부합니다 (예: 오류 없는 오류 수정 쌍을 특정 프롬프팅 계층 구조와만 매칭하도록 보장).
3. 슬롯 계산: 샘플링된 셀을 기반으로 템플릿 슬롯을 채웁니다.
4. 메시지 렌더링: 채팅 트리플 형식으로 사용자 및 어시스턴트 메시지를 생성합니다.
5. 출처 스탬핑: 예시를 생성하는 데 사용된 정확한 분류론 셀과 시드를 meta.provenance 필드에 기록합니다.

이 접근 방식은 "분류론 계층에서의 정제 가능성"을 허용합니다. 부정확성이 플래그되면 해당 분류론 셀을 편집할 수 있으며, 전체 코퍼스를 결정론적으로 재생성하여 모든 영향을 받는 예시를 수동으로 예시별로 다시 작성할 필요 없이 업데이트할 수 있습니다.

3. 데이터 구조 및 구성

TRACE 는 JSONL 파일로 포맷된 2,999 개의 예시로 구성됩니다. 각 예시는 다음을 포함합니다:

• 채팅 트리플: 시스템 프롬프트, 사용자 작업 프롬프트, 그리고 구조화된 어시스턴트 응답.
• 메타 블록: 분류론에서 결정론적으로 파생된 골드 레이블, 예시 ID(SHA-256 해시), 그리고 전체 샘플링 출처를 포함합니다.

데이터셋은 네 가지 분할로 층화됩니다:

• 훈련 (Train): 2,549 개 예시 (85.0%)
• 검증 (Validation): 149 개 예시 (5.0%)
• 테스트 (Test): 281 개 예시 (9.4%)
• 건전성 (Sanity): 20 개 예시 (0.7%)

이 코퍼스는 네 가지 학습자 프로필 (초기 학습자, 학령기, 청소년, 성인) 을 다루며, 교수 방법, 기술 목표, 행동 궤적에서 다양성을 보장합니다. 특히, 이 데이터셋은 일반적인 빈도 수치가 아닌 행동별 측정 형태 (예: tantrums 에 대한 지속 시간, 고정 행동에 대한 부분 구간 기록) 를 포함합니다.

주요 결과 및 검증

이 논문은 특정 모델의 성능이 아닌 데이터셋의 구축 및 기술적 검증에 대해 보고합니다.

• 스키마 무결성: 2,999 개의 모든 예시가 완전한 메타데이터와 함께 JSON 으로 올바르게 파싱됩니다.
• 출처 무결성: 100% 의 예시가 채워진 출처 필드를 가지며, 모든 출력을 특정 분류론 셀과 소스로 연결합니다.
• 고유성: 모든 예시 ID 는 분할 내외에서 고유합니다.
• 층화: 분할은 교수 방법과 해석 패턴에 걸쳐 균형을 이루며, 테스트 세트는 대표성을 갖춘 큐레이션 풀을 보유합니다.
• 결정론: 동일한 시드로 생성 파이프라인을 다시 실행하면 동일한 코퍼스가 생성되어 재현성을 보장합니다.
• 임상 검토: 분류론과 생성 논리는 출판된 소스에 대해 검토되었습니다. 논문은 다중 검토자 검증을 위해 특정 지표 (이차 가중 코헨의 $\kappa$ 및 매튜스 상관 계수) 가 권장된다고 언급하지만, 논문 자체는 이러한 임상 검증을 기다리는 연구 산물로서 데이터셋을 제시합니다.

중요성 및 주장

저자들은 TRACE 를 연구 산물로 위치시키며, 명시적으로 임상적으로 검증되지 않았으며 임상 도구가 아님을 명시합니다. 그 중요성은 다음과 같습니다:

1. 데이터 격차 해소: HIPAA 로 보호되는 실제 세계 데이터의 장벽을 해결하며, 교수 프로그램 생성과 다중 세션 해석을 모두 포괄하는 최초의 합성 ABA 코퍼스를 제공합니다.
2. 감사 가능성 및 정제 가능성: 일반적인 합성 데이터셋과 달리 TRACE 의 결정론적이고 분류론 기반 설계는 체계적인 수정을 가능하게 합니다. 오류는 특정 소스 셀로 추적 가능하여 전체 데이터셋에 전파되는 표적 수리를 가능하게 합니다.
3. 도메인 중립적 파이프라인: 분류론은 ABA 특화적이지만, 생성기 코드와 템플릿은 도메인 중립적이므로 구조화된 규범을 가진 다른 임상 분야에서 합성 데이터 생성을 위한 청사진을 제공합니다.
4. 윤리 및 안전 프레임워크: 데이터셋 생성은 윤리적 제약 (예: 위기 계획에서 특정 구속 절차 회피) 을 포함하며, 임상적으로 유효하지 않은 데이터의 공개를 방지하기 위한 "건전성" 검사를 포함합니다.

논문은 TRACE 가 향후 ABA 특화 언어 모델을 위한 기준선이자, 분류론 기반 합성 데이터 생성 연구를 위한 도구이며, 모든 임상 적용이 사용자와 시설의 책임 하에 이루어진다는 전제 하에 소형 언어 모델의 지도 미세 조정을 위한 자원으로서 기능한다고 결론지었습니다.