💬 NLP

Target-Side Paraphrase Augmentation for Sign Language Translation with Large Language Models

본 논문은 수어 번역 모델 학습을 위해 GPT-4o를 사용하여 참조 문장의 제어된 변형을 생성하는 타겟 측 패러프레이즈 증강 방법을 제안하며, PHOENIX14T 데이터셋에서 BLEU 점수와 의미적 충실도가 향상됨을 입증하는 동시에 매우 반복적이거나 극도로 희소한 데이터에 대한 해당 접근 방식의 한계를 강조한다.

원저자: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pedro Dal Bianco, Jean Paul Nunes Reinhold, Oscar Stanchi, Facundo Quiroga, Franco Ronchetti, Ulisses Brisolara Corrêa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 사람의 손짓(수어)을 말로 번역하는 법을 가르치려 한다고 상상해 보세요. 가장 큰 문제는 로봇에게 연습할 수 있는 책이 충분하지 않다는 것입니다. 로봇은 똑같은 문장을 계속해서 반복해서 보거나, 한 번도 접해보지 못한 단어를 마주하게 됩니다.

이 논문은 다음과 같이 깨달은 영리한 선생님과 같습니다: "만약 로봇이 '날씨가 비가 온다'라고 말하는 법을 딱 한 가지 방식으로만 배운다면, 그 수형이 '비가 내리고 있다'는 뜻인지 혹은 '밖이 젖어 있다'는 뜻인지 헷갈릴 수도 있어."

연구진이 이 문제를 해결한 방법을 간단한 비유를 들어 설명합니다:

1. 문제점: 로봇의 "외골수적인 사고"

수어는 복잡합니다. 컴퓨터가 이를 이해하도록 가르치려면 수천 개의 영상과 텍-텍 쌍(text pairs)이 필요합니다. 하지만 이러한 예시들은 매우 희귀합니다.

"롱 테일(Long Tail)" 문제: 도서관에 책 50%가 딱 한 권씩만 있는 상황을 상상해 보세요. 만약 로봇이 학습 데이터에서 단 한 번 등장한 단어를 번역해야 한다면, 그것은 마치 학생에게 한 번도 읽어본 적 없는 책에 대해 독후감을 쓰라고 요구하는 것과 같습니다.
"반복적"인 문제: 반대로 어떤 데이터셋은 고장 난 레코드판처럼 똑같은 문장을 완벽하게 반복합니다. 그래서 로봇은 의미를 실제로 이해하는 것이 아니라 그냥 정답을 통째로 암기해 버립니다.

2. 해결책: "다시 쓰기 기계"

더 많은 영상을 촬영하는 대신(이는 어렵고 비용이 많이 듭니다), 연구진은 아주 똑똑한 AI(GPT-4o)를 사용하여 창의적인 글쓰기 코치 역할을 맡겼습니다.

비법: 수어 영상은 그대로 유지했습니다. 하지만 텍스트 부분에 대해서는 AI에게 문장을 세 가지 다른 방식으로 다시 써달라고 요청했습니다.
- 원문: "저기압 영역이 우리의 날씨를 결정한다."
- 재작성 1: "우리의 날씨는 저기압 영역에 의해 결정된다."
- 재작성 2: "저기압 영역이 우리의 날씨를 조절하는 요소이다."
목표: 이것은 로봇에게 동일한 손 동작이 서로 다른 단어 선택으로 이어질 수 있음을 가르칩니다. 이는 로봇이 단 하나의 문장을 암기하는 것을 막고, 수형 뒤에 숨겨진 실제 의미를 배우도록 강제합니다.

3. 학습 방법: "넓혔다가 집중하기"

연구진은 이 새로운 문장들을 로봇에게 한꺼번에 던져주지 않았습니다. 대신 음악가가 새 곡을 배우는 것처럼 2단계 학습 일정을 사용했습니다.

1단계 (잼 세션 - Jam Session): 로봇은 원문 문장과 AI가 생성한 모든 변형 문장을 함께 연습합니다. 이를 통해 로봇은 하나의 아이디어를 표현하는 다양한 방법이 있음을 이해하게 됩니다 됩니다.
2단계 (최종 리허설): 로봇은 다시 원래의 완벽한 문장들만 가지고 연습합니다. 이를 통해 최종 테스트를 치를 때, 로봇이 개념을 더 잘 이해하면서도 여 still "표준" 정답을 숙지하고 있도록 보장합니다.

4. 결과: "레시피"에 따라 다르다

연구진은 이 방법을 세 가지 다른 "주방"(데이터셋)에서 테스트했으며, 결과는 매우 달랐습니다.

주방 A (독일 수어 - PHOENIX14T): 이곳은 재료가 골고루 섞인 정상적인 주방이었습니다. 새로운 방식이 아주 잘 작동했습니다! 로봇의 번역 점수가 올라갔습니다. 로봇은 더 유연하고 정확해졌습니다.
주방 B (그리스 수어 - GSL): 이 주방은 이미 완벽했습니다. 문장이 매우 단순하고 반복적이었기 때문에 로봇은 이미 94%의 정확도를 보이고 있었습니다. 여기에 더 많은 변형을 추가하는 것은 오히려 로봇을 혼란스럽게 만들었는데, 왜냐하면 테스트가 오직 하나의 특정 정답만을 찾도록 설계되었기 때문입니다. 이는 마치 이미 물을 끓이는 법을 완벽히 알고 있는 마스터 셰프에게 새로운 방식으로 물을 끓이는 법을 가르치려는 것과 같았습니다.
주방 C (아르헨티나 수어 - LSA-T): 이 주방은 재료의 절반이 빠져 있었습니다. 로봇은 데이터 부족으로 인해 너무 혼란스러워했고, 문장 변형을 추가하는 것이 아무런 도움이 되지 않았습니다. 주요 재료(영상 데이터) 자체가 없다면 망가진 레시피를 고칠 수 없습니다.

5. "숨겨진" 승리: 심판의 점수

연구진은 흥-미로운 점을 발견했습니다. 표준 채점 방식인 BLEU는 정답지와 정확히 똑같은 단어를 사용해야만 점수를 주는 선생님과 같습니다.

만약 로봇이 "비가 오고 있다"라고 말했는데 정답지가 "비가 내리고 있다"라면, 표준 선생님은 0점을 줍니다.
하지만 연구진은 답변을 읽고 "이것들도 같은 의미잖아! 점수를 줘!"라고 말해주는 슈퍼 심판 AI를 사용했습니다.
결과: 표준 점수는 크게 오르지 않았을 때조차도, 슈퍼 심판은 로봇이 실제로 의미를 훨씬 더 잘 이해하고 있음을 확인해주었습니다.

요약

이 논문은 텍스트를 재작성하는 AI를 사용하는 것이 (영상을 바꾸지 않고) 수어 번역에 도움이 되지만, 이는 데이터가 "스위트 스폿(적절한 지점)"에 있을 때만 가능하다는 것을 보여줍니다.

데이터가 너무 단순하면 도움이 되지 않습니다.
데이터가 너무 엉망이면(너무 많이 누락되면) 도움이 되지 않습니다.
하지만 데이터가 딱 적당하다면, 그것은 로봇이 단순히 단어를 암기하는 것이 아니라 수형의 의미를 이해하도록 가르쳐줍니다.

연구진은 또한 이러한 특정 "AI 재작성" 기술이 수어를 위해 시도된 첫 번째 사례임을 언급했으며, 다른 사람들이 시도해 볼 수 있도록 모든 코드와 데이터를 공개했습니다.

기술 요약: 대규모 언어 모델을 이용한 수어 번역의 타겟 측 패러프레이즈 증강

문제 정의

수어 번역(SLT)은 대규모 병렬 수어 비디오-텍스트 코퍼스의 부족과, 많은 단어가 단 몇 번만 등장하는 헤비 테일(heavy-tailed) 타겟 어휘 문제로 인해 상당한 병목 현상을 겪고 있다. 최근 진전이 있었으나, 부호화된 발화의 다중 모드 복잡성과 데이터 희소성으로 인해 견고한 번역을 구현하는 것은 여전히 어렵다. 기존의 SLT 데이터 증강 전략은 주로 수어 측(예: 생성 모델 또는 프로덕션 모델을 통한 방식)에 집중되어 왔으며, 타겟 텍스트 측은 충분히 활용되지 못했다. 또한, BLEU와 같은 표준 어휘 중첩 지표는 모델이 참조 문장과 어휘적으로는 다르지만 의미론적으로 유효한 패러프레이즈를 생성할 때 그 의미적 개선을 포착하지 못하는 경우가 많다.

방법론

저자들은 수어 입력은 고정된 상태에서, 참조 텍스트를 대규모 언어 모델(LLM)을 사용하여 의미론적으로 충실한 변형 문구로 다시 쓰는 타겟 측 증강(target-side augmentation) 접근 방식을 제안한다.

모델 아키텍처: 본 연구는 **Signformer 스타일의 포즈 기반 트랜스포머(pose-based Transformer)**를 채택한다. 가공되지 않은 비디오 프레임 대신, MediaPipe Holistic(33개의 신체 랜드마크, 손당 21개, 얼굴 하위 집합 포함)을 통해 추출된 2D 스켈레톤 키포인트를 활용한다. 이러한 표현 방식은 조명이나 배경 변화를 억제하면서 조음 동작을 강조하며, 증강 효과를 효율적으로 평가할 수 있게 한다.
LLM 기반 데이터 증강:
- 각 비디오-문장 쌍 $(V, T)$ 에 대해, GPT-4o가 $N=3$ 개의 패러프레이즈( $T'_1, T'_2, T'_3$ )를 생성한다.
- 프롬프트는 JSON 출력을 강제하도록 구조화되었으며, 시제, 레지스터(register), 명제적 내용을 명시적으로 보존하면서도 통제된 어휘 및 구문적 변이를 허용한다.
- 필터링: 의미적 왜곡을 방방지하기 위해 네 가지 표면 형태 측정치(문자 수준 Jaccard, 단어 수준 Jaccard, 정규화된 Levenshtein, trigram 중첩)로부터 도출된 평균 유사도 점수( $\bar{s}$ )를 사용하여 패러프레이즈를 필터링한다. 변이 문구는 $0.3 \leq \bar{s}(T, T'_i) \leq 0.95$ 조건을 만족할 때만 유지되며, 정확히 중복되거나 의미를 변화시키는 변이는 폐기된다.
학습 일정: 저자들은 2단계 학습 일정을 활용한다.
- 1단계 (사전 학습): 증강된 코퍼스(원본 및 각 인스턴스당 3개의 패러프레이즈 포함)를 통해 모델을 사전 학습한다.
- 2단계 (미세 조정): 디코더를 특정 참조 구문 표현에 다시 정렬하기 위해 오직 원본 참조 문장만을 사용하여 모델을 미세 조정한다.
- 이 일정은 사전 학습 중에 디코더의 분포를 확장하는 동시에, 미세 조정 단계에서 참조 스타일로 다시 중심을 잡는 것을 목표로 한다.

주요 기여

새로운 증강 전략: 이는 SLT를 위해 특별히 설계된 LLM 생성 타겟 측 패러프레이즈 증강을 적용한 첫 번째 연구이다. 저자들은 독일어(DGS), 그리스어(GSL), 아르헨티나 수어(LSA)를 다루는 세 가지 증강된 데이터셋을 공개한다.
포괄적인 데이터셋 평가: 본 연구는 서로 다른 특성을 가진 세 가지 데이터셋을 통해 접근 방식을 평가한다.
- PHOENIX14T (DGS): 자연스러운 녹음 환경과 중간 정도의 어휘 다양성을 보유함.
- GSL: 변동성이 낮고 매우 통제되고 반복적인 녹음 형태를 띰.
- LSA-T: 심각한 롱테일 희소성(단일 출현 단어 50%)을 가진 실제 환경의 비디오 데이터.
의미론적 평가 프로토콜: 저자들은 BLEU와 같은 어휘 중첩 지표의 한계를 해결하기 위해, 의미적 충실도를 측정하는 LLM-as-a-Judge 평가(GPT-5.2 사용)를 도입한다.

결과

증강의 영향은 코퍼스의 특성에 따라 크게 달라진다:

PHOENIX14T: 증강을 통해 BLEU-4가 9.56에서 10.33으로 향상되었다. 더 중요한 점은, LLM-as-a-Judge 의미 충실도 점수가 45.0% 증가(2.51에서 3.65로)했다는 것이다. 분석 결과, 패러프레이즈 노출이 디코더가 암기된 템플릿을 넘어 일반화하는 데 도움을 준다는 것을 보여준다.
GSL: 베이스라인이 거의 포화 상태였다(94.38 BLEU). 증강은 BLEU를 92.22로 약간 감소시켰는데, 이는 모델이 단일 참조 문장과는 어휘적으로 다르지만 의미론적으로는 유효한 출력을 생성했기 때문이다. 그러나 의미 충실도는 여전히 13.6% 개선(7.72에서 8.77로)되었으며, 이는 어휘 지표가 높은 베이스라인 시나리오에서의 이점을 과소평가하고 있음을 확인시켜 준다.
LSA-T: 성능이 정체되었다(BLEU-4 ~1.18–1.19). 저자들은 타겟 측 재작성이 이 데이터셋에 내재된 근본적인 수어 측 데이터 희소성 문제를 해결할 수는 없다고 언급했다.

의의 및 주장

본 논문은 타겟 측 LLM 증강이 일률적으로 유익한 것이 아니라, 코퍼스의 위치가 정형화된 형태에서 롱테일 희소성 사이의 스펙트럼 중 어디에 있는지에 따라 효능이 달라진다고 주장한다.

중간 정도의 다양성 (PHOENIX14T): 이 접근 방식은 어휘 지표와 의미 충실도를 모두 성공적으로 개선한다.
높은 포화도 (GSL): 이 접근 방식은 표준 지표가 놓치는 이점을 드러내지만, 거의 완벽한 베이스라인을 뛰어넘지는 못한다.
극심한 희소성 (LSA-T): 이 접근 방식은 주요 병목 현상이 수어 데이터의 부족일 때 타겟 텍스트 증강이 갖는 한계를 보여준다.

저자들은 이 방법이 유망함을 보여주지만, 향후 연구에서는 타겟 텍스트 증강과 수어 측 증강을 결합하고, 평가를 위해 다중 참조를 사용하며, 증강 원리 자체의 이점을 특정 생성 모델의 영향으로부터 분리하기 위해 오픈 소스 LLM을 테스트해야 한다고 결론짓는다.