SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation

이 논문은 대규모 수화 데이터셋의 언어학적 기반 주석과 큐레이션을 위해 대형 언어 모델을 활용한 새로운 에이전트 프레임워크인 'SignAgent'를 제안하고, 이를 통해 기존 방법론의 한계를 극복하고 성능을 입증한 연구입니다.

핵심

🌟 핵심 비유: "수화 번역의 '명탐정'과 '전문가 도서관'"

지금까지 컴퓨터가 수화를 분석하는 방식은 마치 외국어를 모르는 사람이 외국 영화를 보고 대충 내용을 추측하는 것과 비슷했습니다. 손동작만 보고 "아, 이거 '사과'겠지?"라고 대충 맞히는 수준이었죠. 하지만 수화는 손 모양, 위치, 움직임, 얼굴 표정 등 매우 정교한 언어적 규칙이 있습니다.

SignAgent는 이 문제를 해결하기 위해 두 명의 **'지능형 조력자'**를 고용했습니다.

1. 오케스트레이터 (Orchestrator): "수화 명탐정"

• 역할: 이 에이전트는 전체 상황을 지휘하는 명탐정입니다.
• 행동: 수화 영상을 보고 "이건 뭐지?"라고 단순히 추측하지 않습니다. 대신, "손 모양은 A, 움직임은 B, 위치는 C 인데... 아! 이 조합은 '사과'일 가능성이 높구나!"라고 논리적으로 추론합니다.
• 특징: 혼자서 모든 걸 다 하는 게 아니라, 필요한 정보를 찾아서 **도구 (Tools)**를 부릅니다.

2. SignGraph: "수화 전문 도서관"

• 역할: 명탐정이 정보를 확인하는 거대한 전문 도서관입니다.
• 행동: 수화의 사전, 문법 규칙, 손 모양의 미세한 차이까지 모두 기록해 둔 지식 그래프입니다. 명탐정이 "이 손 모양이 정확히 뭐지?"라고 물어보면, 도서관은 "그건 '사과'의 변형 버전 중 하나일 수 있어"라고 정확한 근거를 제시해 줍니다.

---

🛠️ 이 시스템이 하는 두 가지 주요 일

이 '명탐정'과 '도서관' 팀은 크게 두 가지 일을 잘해냅니다.

1. 수화 자막 맞추기 (Pseudo-gloss Annotation)

• 상황: 수화 영상을 보고, 그 영상이 어떤 **단어 (글자)**로 이루어져 있는지 순서대로 나열하는 작업입니다.
• 기존 방식: 컴퓨터가 대충 단어를 나열하면, 순서가 뒤죽박죽이 되거나 틀린 단어가 섞여 나옵니다.
• SignAgent 의 방식:
  • 영상 속 손동작을 분석하고 (시각), 손 모양과 위치를 분석합니다 (음운론).
  • "이 손동작은 '사과'지만, 문맥상 '먹다'가 더 어울리네?"라고 논리적으로 판단합니다.
  • 마치 퍼즐을 맞추듯, 가장 적절한 단어들을 올바른 순서로 배열해 줍니다.
  • 결과: 기존 방식보다 훨씬 정확하고 자연스러운 수화 자막을 만들어냅니다.

2. 비슷한 수화 묶기 (ID Glossing)

• 상황: 같은 단어라도 사람마다 손 모양이나 위치가 조금씩 다를 수 있습니다. (예: '농구'라는 수화를 한 손으로 하거나 두 손으로 할 수 있음)
• 기존 방식: 컴퓨터는 "손 모양이 다르니까 이건 다른 단어야!"라고 잘못 판단해서, 같은 단어를 여러 개로 쪼개버립니다.
• SignAgent 의 방식:
  • "이건 손 모양이 조금 다르지만, 의미와 문법적 규칙은 똑같은 '농구'야"라고 맥락을 이해합니다.
  • 시각적으로 비슷하지 않아도, 언어적 규칙이 같으면 하나의 그룹으로 묶어줍니다.
  • 결과: 데이터가 불필요하게 쪼개지지 않고, 깔끔하게 정리됩니다.

---

💡 왜 이 연구가 중요한가요?

1. 시간과 비용 절감: 수화 데이터를 사람이 일일이 분석하고 라벨링하는 데는 1 분의 영상에 1 시간 이상이 걸립니다. 이는 너무 비싸고 느립니다. SignAgent 는 이 과정을 자동화하여 대규모 데이터를 빠르게 만들어냅니다.
2. 정확한 언어 이해: 단순히 "손이 움직였다"를 넘어, **수화라는 언어의 규칙 (문법, 발음 등)**을 이해하고 분석합니다.
3. 투명성 (Auditable): 인공지능이 "왜 이렇게 판단했는지" 그 이유와 근거를 남깁니다. 마치 탐정이 수사 일지를 남기듯, 모든 결정 과정을 사람이 확인할 수 있어 신뢰도가 높습니다.

🚀 결론

이 논문은 **"인공지능이 수화를 단순히 '보는' 것을 넘어, '이해'하고 '분석'할 수 있게 했다"**는 점을 보여줍니다.

마치 수화 번역을 돕는 똑똑한 비서가 등장한 것입니다. 이 비서는 수화 전문가들의 지식을 바탕으로, 복잡한 수화 영상을 분석하여 정리된 데이터로 만들어냅니다. 앞으로 이 기술이 발전하면, 수화 사용자와 비수화자 사이의 소통 장벽이 훨씬 낮아지고, 수화 기반의 AI 서비스 (통역, 교육 등) 가 폭발적으로 늘어날 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

수화 (Sign Language, SL) 는 손 모양, 움직임, 위치, 방향, 표정 등 다양한 비수어적 (non-manual) 요소가 결합된 복잡한 시각 - 제스처 언어입니다. 기존 수화 연구 및 데이터셋 구축에는 다음과 같은 주요 병목 현상이 존재합니다.

• 언어학적 뉘앙스 부재: 기존의 계산적 방법론은 주로 '글로스 (gloss, 수어의 단어 단위)' 수준에서 작동하여, 수어의 중요한 언어학적 세부 사항 (음운론적 구성 요소 등) 을 간과하는 경우가 많습니다.
• 수동 주석의 비효율성: 언어학적 주석을 수동으로 작성하는 것은 매우 비용이 많이 들고 시간이 오래 걸립니다 (수화 데이터 1 분당 1 시간 이상의 주석 시간 소요). 이로 인해 대규모이고 음운론적으로 인식 가능한 데이터셋을 구축하는 것이 어렵습니다.
• 기존 LLM 의 한계: 최근 멀티모달 LLM 이 발전했으나, 수화 처리에 적용될 때는 시각 인코더의 약점이나 프롬프트 민감성으로 인해 미세한 시각 정보나 언어학적 구성 요소를 정확하게 포착하지 못합니다.

2. 방법론 (Methodology)

저자들은 SignAgent라는 새로운 에이전트 프레임워크를 제안합니다. 이는 대규모 언어 모델 (LLM) 을 활용하여 언어학적 지식을 기반으로 한 추론을 수행하고, 이를 통해 확장 가능하고 언어학적으로 근거된 수화 주석 및 데이터 선별을 가능하게 합니다.

핵심 아키텍처

SignAgent 는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. SignAgent Orchestrator (조정자):

   • 추론이 가능한 LLM 으로, 다단계 의사결정, 도구 조정, 정보 흐름을 관리하는 중앙 컨트롤러 역할을 합니다.
   • 입력 데이터와 초기 프롬프트를 기반으로 ReAct(Reasoning + Acting) 스타일의 루프를 수행합니다. 즉, 추론 (Reasoning) → 도구 호출/지식 검색 (Acting) → 상태 업데이트의 과정을 반복합니다.
   • JSON 기반의 구조화된 추론 궤적 (reasoning trace) 을 생성하여 해석 가능한 의사결정을 보장합니다.

2. SignGraph (지식 기반):

   • 어휘 및 언어학적 그래프에 접근하여 LLM 에게 언어학적 근거 (grounding) 를 제공하는 지식 기반 LLM 입니다.
   • LexicalKnowledgeGraph: 사전 항목과 음운론적 구성 요소 (손 모양, 움직임, 위치) 를 노드로, 그 관계를 엣지로 표현합니다.
   • LinguisticKnowledgeGraph: 책 및 참고 자료에서 추출된 언어학적 개념과 특징을 표현합니다.

3. Toolset (도구 세트):

   • Base Tools (기초 도구): 수화 비디오의 저수준 언어학적 분석을 수행합니다.
     • 손 모양 분류기, 움직임 분류기, 위치 분류기, 수화 분할기 (Sign Segmentor), 글로스 검색기 (Glosser), 문법적 원형화 (SignLemma), 손 사용성 감지기 등.
   • Enhanced Tools (고급 도구): 기초 도구의 출력을 결합하여 하위 작업 (예: 의사결정 준비) 에 적합한 구조화된 증거를 생성합니다.
     • Gloss Evidence Collector: 시각 검색과 음운론적 매칭을 융합하여 후보 글로스 목록과 신뢰도 점수를 생성합니다.
     • Visual ID Glossing: 비디오 임베딩을 기반으로 시각적 클러스터를 생성합니다.
     • Clustered Phonological Analysis: 클러스터 간 음운론적 일치도를 계산하여 병합 (merge) 권장 사항을 도출합니다.

주요 태스크

1. Pseudo-gloss Annotation (가상 글로스 주석):
   • 입력된 수화 비디오와 구어체 문장을 기반으로, 적절한 글로스 레이블을 추출하고 비디오 시간축에 맞춰 순서를 재배열하는 작업입니다.
   • 에이전트는 시각적 유사성, 음운론적 중첩, 손 활동, 시간적 일관성, 의미적 문맥 등 5 가지 증거를 종합하여 최적의 글로스 시퀀스를 결정합니다.
2. ID Glossing (ID 글로스링):
   • 동일한 의미의 글로스 내에서 발생하는 다양한 변형 (예: 한 손으로 하는 '농구'와 두 손으로 하는 '농구') 을 식별하고 그룹화하는 작업입니다.
   • 시각적 클러스터링과 음운론적 중첩, 손 사용성 (handedness) 을 종합적으로 추론하여 시각적으로 유사하지만 언어학적으로 다른 변형을 구분하거나, 반대로 시각적 차이가 있더라도 언어학적으로 동일한 변형을 병합합니다.

3. 주요 기여 (Key Contributions)

1. 수화 주석을 위한 최초의 에이전트 추론 적용: 도구 증강 멀티모달 증거와 지식 기반 검색 (RAG) 을 결합하여 수화 언어학적 추론을 수행하는 첫 번째 프레임워크를 제시했습니다.
2. 상호 보완적인 두 가지 태스크 평가: 가상 글로스 정렬 (pseudo-gloss alignment) 과 ID 글로스링 (ID glossing) 태스크에서 점진적인 베이스라인 비교를 통해, 각 단계 (특히 LLM 에이전트 추론) 가 고정된 파이프라인 접근법보다 일관된 성능 향상을 가져옴을 입증했습니다.
3. 공개 데이터셋: 언어학적으로 근거된 수화 연구를 지원하기 위해 생성된 선별된 데이터를 공개했습니다.

4. 실험 결과 (Results)

태스크 1: Pseudo-gloss Annotation (BSLCorpus 데이터셋)

• 평가 지표: Longest Common Subsequence (LCS, 순서 일치율) 및 Kendall's τ (순서 상관관계).
• 결과:
  • 기존 방법 (Sign2GPT Lemmatization) 대비 SignAgent가 모든 지표에서 우수한 성능을 보였습니다.
  • 특히 어려운 문장 (Poor subset) 에서 기존 방법은 순서 상관관계가 음수 (-0.333) 였으나, SignAgent 는 이를 양수 (0.083) 로 전환하며 순서 재배열 문제를 효과적으로 해결했습니다.
  • LCS 향상: 60.85% (Fair), 47.02% (Poor) 로, 기존 최상위 베이스라인 대비 약 3~4%p 이상의 개선을 달성했습니다.

태스크 2: ID Glossing (ASLCitizen 데이터셋)

• 평가 지표: 클러스터당 ID 수 (IDs/gloss, 낮을수록 좋음), 엔트로피 (H), 실루엣 계수 (Silhouette, 높을수록 좋음), Calinski-Harabasz 지수.
• 결과:
  • 클러스터 분산 감소: 기존 시각 기반 모델 (SignRep) 은 평균 4.81 개의 ID 를 생성했으나, SignAgent 는 2.30 개로 줄여 클러스터의 분열을 크게 감소시켰습니다.
  • 클러스터 품질 향상: 실루엣 계수가 -0.04 에서 0.058로, Calinski-Harabasz 지수가 6.75 에서 7.58로 개선되어 더 응집력 있고 명확한 클러스터를 형성함을 보였습니다.
  • 시각적 예시: 'Basketball' 글로스에서 시각적 변이로 인해 기존 모델이 분리했던 군집을, 음운론적 특징이 동일함을 고려하여 SignAgent 가 성공적으로 병합했습니다.

5. 의의 및 결론 (Significance)

• 확장성과 해석 가능성: SignAgent 는 대규모 수화 데이터 주석의 병목 현상을 해결할 수 있는 확장 가능한 솔루션을 제공합니다. 모든 의사결정이 명시적인 증거 (시각적 거리, 음운론적 일치도 등) 에 기반하므로, 연구자들이 에이전트의 판단을 검증하고 신뢰할 수 있습니다.
• 언어학적 근거의 통합: 단순한 시각적 유사성을 넘어, 음운론 (phonology) 과 언어학적 지식 (lexical knowledge) 을 통합하여 수화의 본질적인 구조를 더 잘 이해하고 반영합니다.
• 도구로서의 위치: 저자들은 이 프레임워크가 언어학자나 데이터 큐레이터를 대체하는 것이 아니라, 전문가의 판단을 보조하고 확장하는 **협력 도구 (collaborator)**로서 역할을 수행할 수 있음을 강조합니다.
• 한계 및 향후 과제: 현재는 기존 어휘 자원에 의존하며, 비수어적 (non-manual) 요소와 억양 (prosody) 구조를 완전히 포착하지는 못합니다. 향후 저자원 수화 언어로 확장하고, 비수어적 분석 도구를 강화하는 것이 중요한 과제로 남습니다.

이 논문은 LLM 기반 에이전트 아키텍처가 복잡한 멀티모달 언어 처리 과제에서 단순한 분류를 넘어, 구조화된 추론과 지식 기반의 의사결정을 통해 혁신적인 성능 향상을 이룰 수 있음을 보여줍니다.