Did somebody say "Gest-IT"? A pilot exploration of multimodal data management

이 논문은 시각 장애인과 시력 정상인 간의 대화에서 제스처 패턴의 변이를 연구하기 위해 구두, 운율, 제스처 전사를 포함한 3 층 주석이 적용된 다중 모달 코퍼스 'Gest-IT'의 구축, 관리 및 분석 방법을 제시하고 통합된 CoNLL-U 코퍼스 형식을 제안합니다.

핵심

🎬 1. 왜 이 연구를 했을까요? (기존의 문제점)

지금까지 언어학자들은 주로 **'글로 쓴 말'**이나 **'녹음된 소리'**만 분석했습니다. 하지만 실제 대화는 훨씬 더 복잡합니다.

• 비유: 우리가 영화를 볼 때, 대본 (글) 만 보고 영화를 이해할 수 있을까요? 아닙니다. 배우의 표정, 손짓, 눈빛, 목소리 톤이 있어야 진짜 감동을 받습니다.
• 문제점: 기존 연구들은 이 '영화의 영상' 부분, 즉 **손짓과 몸짓 (제스처)**을 제대로 기록하는 방법이 없었습니다. 대부분 "이 손짓은 '아니오'라는 뜻이야"라고 해석만 했지, "어떻게 손을 움직였는지"를 객관적으로 기록하는 표준이 없었습니다. 또한, 실험실처럼 인위적인 상황에서만 데이터를 모아 자연스러운 대화가 아니라는 한계도 있었습니다.

👁️🙈 2. Gest-IT 프로젝트의 핵심 아이디어

이 연구팀은 **"시각 장애가 있는 사람과 없는 사람이 대화하는 자연스러운 모습"**을 카메라와 마이크에 담았습니다.

• 실험 설정:
  • **시각 장애 그룹 (6 명)**과 **시각 정상 그룹 (8 명)**이 짝을 지어 30 분간 대화했습니다.
  • 재미있는 실험: 두 사람이 서로 마주 보고 앉는 경우 (상대방의 표정을 봄) 와, 등 돌리고 앉는 경우 (상대방의 표정을 못 봄) 로 나누어 실험했습니다.
  • 목적: "상대방이 나를 볼 수 있는지 여부가 손짓을 어떻게 바꾸는지"를 확인하기 위함입니다.

📝 3. 어떻게 기록했나요? (3 층 구조의 레이어 케이크)

이 프로젝트의 가장 큰 특징은 대화를 **3 개의 층 (Layer)**으로 나누어 기록한다는 점입니다. 마치 3 겹으로 된 레이어 케이크를 생각하면 쉽습니다.

1. 첫 번째 층 (글자): "안녕하세요"라고 어떤 단어를 썼는지. (정서적 기록)
2. 두 번째 층 (음성): 목소리가 높았는지, 낮았는지, 멈췄는지, 두 사람이 동시에 말했는지. (억양과 리듬 기록)
3. 세 번째 층 (몸짓): 손이 어떻게 움직였는지, 어깨가 어떻게 흔들렸는지. (가장 중요한 부분!)

🌟 혁신적인 점:
기존에는 손짓을 "의미" (예: '고맙습니다'라는 뜻) 로만 분류했습니다. 하지만 Gest-IT 는 **타이파노트 (Typannot)**라는 시스템을 써서, 손가락이 어떻게 움직이고, 팔이 어떤 궤적을 그렸는지를 마치 악보처럼 객관적으로 기록합니다.

• 비유: 다른 사람이 "이 손짓은 '좋다'는 뜻이야"라고 해석하는 대신, "엄지손가락이 위로 올라가고 검지가 왼쪽으로 움직였다"라고 기술적 사실을 먼저 기록하는 것입니다. 그래야 나중에 "아, 이 손짓이 실제로는 '좋다'는 뜻이 아니라 '의심'의 뜻이었구나"라고 다시 해석할 수 있기 때문입니다.

💻 4. 데이터는 어떻게 관리하나요?

이 프로젝트는 **코딩 (프로그래밍)**과 언어학이 만났습니다.

• 모든 대화 데이터는 CoNLL-U라는 국제 표준 형식으로 저장됩니다. 이는 마치 모든 언어학자가 같은 언어로 데이터를 주고받을 수 있게 만든 **'공통 어휘'**와 같습니다.
• 실수나 오류를 방지하기 위해 자동화된 시스템을 만들어, 새로운 데이터가 들어오면 자동으로 검사를 거치도록 했습니다.

🚀 5. 이 연구가 왜 중요할까요?

이 프로젝트는 아직 초기 단계 (파일럿) 이지만, 다음과 같은 큰 의미를 가집니다.

1. 더 공정한 언어 이해: 시각 장애가 있는 사람도 시력이 있는 사람과 똑같이 풍부한 손짓을 사용한다는 사실을 밝혀, 언어 연구의 편향을 줄입니다.
2. 새로운 표준 제시: "손짓을 어떻게 기록할까?"에 대한 새로운 기준 (표준) 을 제시합니다.
3. 미래의 AI: 앞으로 우리가 사람과 대화하는 AI(로봇) 가 사람의 표정과 손짓까지 이해하고 자연스럽게 반응하려면, 이런 정교한 데이터가 필수적입니다.

📌 한 줄 요약

"Gest-IT 는 말소리뿐만 아니라, 우리가 대화할 때 보여주는 '눈빛과 손짓'까지 함께 녹음하고 분석하여, 인간이 어떻게 소통하는지 더 완벽하게 이해하려는 첫걸음입니다."

기술 요약

논문 요약: Gest-IT (시각 장애인과 시력 있는 사람 간의 대화에서 제스처 분석을 위한 다중 양식 말뭉치 구축)

1. 문제 제기 (Problem)

• 기존 말뭉치의 한계: 현재 언어학 연구에서 주로 사용되는 텍스트 기반 말뭉치는 언어의 풍부한 다중 양식 (multimodal) 특성 (구두 채널, 제스처, 공간적 거리, 표정 등) 을 포착하지 못합니다. 언어의 실제 작동 방식을 이해하려면 이러한 다양한 기호적 자원을 독립적으로 관찰하고 그 상호작용을 분석해야 합니다.
• 표준화된 전사 시스템 부재: 구어체 (음성) 에는 IPA 나 철자법과 같은 표준 전사 시스템이 존재하지만, 제스처 (비언어적 행동) 를 전사하기 위한 보편적인 표준은 부재합니다. 기존 시스템들은 대부분 제스처의 '형식 (form)'보다는 '기능 (function)'이나 '의미'에 기반하여 주관적으로 분류하거나, 수화 (Sign Language) 전사 시스템을 제스처에 적용하려다 실패한 사례가 많습니다.
• 생태학적 데이터 (Ecological Data) 의 부족: 많은 기존 다중 양식 말뭉치는 특정 과업 (예: 물체 설명, 공간적 의사소통) 에 초점을 맞추거나, 참여자에게 헤드셋이나 추적 장치를 착용하게 하여 상호작용의 자발성을 해칩니다. 따라서 자연스러운 대화 상황을 반영하는 생태학적 데이터가 부족합니다.
• 특정 언어 (이탈리아어) 의 부재: 이탈리아어 기반의 접근 가능하고 생태학적인 다중 양식 말뭉치는 현재 존재하지 않습니다.

2. 방법론 (Methodology)

가. 데이터 수집 및 실험 설계

• 참여 대상: 시력 있는 사람 (Sighted, SG) 과 시각 장애인 (Blind, BG) 을 포함한 14 명 (남성 2 명, 여성 12 명) 을 대상으로 한 대화 실험을 수행했습니다.
• 상호작용 조건:
  • 시각 조건: 같은 집단 (시각장애인끼리, 시력 있는 사람끼리) vs 다른 집단 (시각장애인 - 시력 있는 사람).
  • 배치 조건: 서로 마주 보는 상태 (Unmasked, U) vs 등을 맞대고 앉아 상대방의 비언어적 신호를 볼 수 없는 상태 (Masked, M).
• 녹화 환경: 30 분간의 자연스러운 대화를 유도하기 위해 사전 질문지를 준비했으나, 실제 대화는 매우 자발적으로 진행되었습니다. 중앙, 좌측, 우측의 3 대 카메라와 오디오를 사용하여 다각도에서 녹화했습니다. 총 13 회 대화, 약 7 시간 (428 분) 의 데이터가 확보되었습니다.

나. 데이터 관리 및 저장소 (Data Management)

• 버전 관리: Git 저장소를 활용하여 데이터 일관성을 유지했습니다. 메인 브랜치 (최종 버전) 와 개발 브랜치를 분리하고, .yaml 파일을 통해 참여자 및 대화 세션 정보를 관리했습니다.
• 자동화 검증: CI/CD 파이프라인을 도입하여 전사 파일이 업데이트될 때마다 레이어 이름 일치성, 제퍼슨식 표기법 (Jeffersonian notation) 형식 등 자동 검증을 수행했습니다.

다. 3 층 전사 시스템 (Three-layer Transcription)
모든 데이터는 ELAN 소프트웨어를 사용하여 시간 동기화되었으며, CoNLL-U 포맷으로 통합되었습니다.

1. 철자 전사 (Orthographic): KIParla 말뭉치 표준을 따르며, 비언어적 행동 (숨소리, 웃음 등) 과 턴 할당을 포함합니다.
2. 억양/대화 전사 (Prosodic/Interactional): 제퍼슨식 표기법 (Jeffersonian notation) 을 단순화하여 적용했습니다. (예: .(내림 억양), ?(올림 억양), =(연속), [/](중첩), °(낮은 음량) 등).
3. 제스처 전사 (Gestural): Typannot 시스템을 도입했습니다. 이는 수화 전사를 위해 개발된 것으로, 제스처를 '의미'가 아닌 '형식' (articulatory form) 으로 객관적으로 기술합니다.
   • 분류 체계: 손가락 (Finger), 상지 (UpperLimb), 상체 (UpperBody) 의 3 가지 조음 시스템 (Articulatory Systems) 으로 신체 부위를 세분화하여 기술합니다.

3. 주요 기여 (Key Contributions)

1. 이탈리아어 최초의 생태학적 다중 양식 말뭉치 (Gest-IT): 시각 장애인과 시력 있는 사람의 자연스러운 대화를 포착한 최초의 이탈리아어 다중 양식 말뭉치를 구축했습니다.
2. 객관적 제스처 전사 체계의 제안: 기존 연구들이 제스처의 '기능'에 의존하던 것과 달리, 수화 연구에서 차용한 Typannot을 사용하여 제스처의 '형식적 특징'을 객관적이고 해석에 독립적으로 (interpretation-independent) 전사하는 방식을 제안했습니다.
3. 통합 CoNLL-U 포맷의 적용: 철자, 억양, 제스처 정보를 하나의 통합된 CoNLL-U 파일 구조에 담아 상호 운용성을 확보했습니다. 이를 통해 언어적 단위와 제스처 단위의 중첩 (overlap) 과 정렬을 정밀하게 분석할 수 있는 기반을 마련했습니다.
4. 데이터 관리 프로토콜의 표준화: Git 기반의 버전 관리와 자동화된 검증 스크립트를 도입하여 다중 양식 말뭉치 구축의 재현성과 데이터 무결성을 높이는 프로토콜을 제시했습니다.

4. 결과 (Results)

• 파일럿 단계 완료: 현재는 파일럿 (시범) 단계로, 약 1 분 분량의 전사 데이터가 생성되었으며, 13 개의 대화 세션 (약 7 시간) 에 대한 녹화가 완료되었습니다.
• 기술적 검증: 3 대 카메라를 통한 다각도 녹화, 3 층 전사 시스템의 시간 동기화, 그리고 CoNLL-U 포맷으로의 변환이 기술적으로 성공적으로 구현되었음을 확인했습니다.
• 데이터 구조: 메타데이터 (대화 ID, 화자 ID, 지속 시간, 중첩 정보 등) 와 Typannot 코드가 포함된 구조화된 데이터셋이 구축되었습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 의의:

  • 언어학 연구의 확장: 시각 장애 유무가 제스처 생성에 미치는 영향을 연구할 수 있는 귀중한 자료를 제공하며, 언어와 제스처의 상호작용을 규명하는 데 기여합니다.
  • 표준화 기여: 제스처 전사를 위한 객관적 기준 (형식 중심) 을 제시함으로써, 향후 다중 양식 말뭉치 연구에 필요한 표준화 논의에 중요한 기여를 합니다.
  • 접근성: 시각 장애인과 시력 있는 사람의 소통 방식을 연구함으로써 포용적 언어 기술 개발에 기여할 수 있습니다.

• 향후 과제:

  • 모든 녹화 자료에 대한 완전한 철자, 억양, 제스처 전사 완료.
  • 데이터의 철저한 검토 및 가명 처리 (pseudoanonymization).
  • 추가적인 주석 레이어 확장 및 연구 커뮤니티에 대한 공개.

이 논문은 다중 양식 언어 데이터의 수집, 관리, 분석을 위한 체계적인 프로토콜을 제시하며, 특히 제스처 전사의 객관성과 생태학적 타당성을 동시에 확보하려는 시도로 평가됩니다.