📄 other

A parallel treebank of learner Swedish

이 논문은 L2 특유의 과제들을 해결하고, 주석 품질을 평가하며, 주석 작업의 난이도에 영향을 미치는 요인들을 식별하기 위해 Universal Dependencies 표준에 따라 주석을 달아 구축한 SweLL 코퍼스 기반의 스웨덴어 학습자 언어 병렬 트리뱅크를 소개한다.

원저자: Arianna Masciolini, Maria Irena Szawerna, Aleksandrs Berdicevskis, Caroline Grand-Clement, Elena Volodina

게시일 2026-07-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Arianna Masciolini, Maria Irena Szawerna, Aleksandrs Berdicevskis, Caroline Grand-Clement, Elena Volodina

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 실수를 위한 "이중 언어 사전" 만들기

당신이 스웨덴어 같은 새로운 언어를 배우고 있다고 상상해 보세요. 문장을 하나 썼는데 온통 실수투성이입니다. 선생님이 그 문장을 읽고, 오류를 고친 뒤, "올바른" 버전을 적어줍니다. 이제 당신에게는 이러한 "전(Before)"(당신의 엉망인 초안)과 "후(After)"(선생님의 깔끔한 버전)의 쌍으로 이루어진 거대한 도서관이 있다고 상상해 보세요.

이 논문은 UD Swedish-SweLL이라는 새로운 디지털 도서관을 소개합니다. 이는 성인 스웨덴어 학습자들이 작성한 510개의 문장 쌍을 모아놓은 컬렉션입니다. 저자들은 단순히 텍스트를 저장한 것이 아니라, 모든 문장이 서로 어떻게 연결되는지를 보여주는 상세한 "지도"를 구축했습니다. 그들은 이것을 **트리뱅크(treebank)**라고 부릅니다.

트리뱅크를 문장의 가계도라고 생각하면 쉽습니다. 그것은 누가 "부모"(주요 단어)이고 누가 "자식"(그 단어에 의존하는 단어)인지를 보여줍니다. 예를 들어, "The big dog(커다란 개)"에서 "dog"는 부모이고, "big"은 그에게 붙어 있는 자식입니다.

왜 이런 일을 하는가? ("만능 번역기" 아이디어)

보통 연구자들이 학습자의 실수를 연구할 때는 단순히 "철자 오류", "잘못된 동사", "나쁜 문법"처럼 오류 목록을 만듭니다. 이는 마치 정비사가 엔진이 어떻게 작동하는지 설명하지 않고 그냥 "차가 고장 났다"라고 말하는 것과 같습니다.

저자들은 **유니버설 디펜던시(Universal Dependencies, UD)**라는 시스템을 사용하기로 결정했습니다.

비유: UD는 모든 TV 브랜드(모든 언어)에서 작동하는 만능 리모컨과 같습니다. 스웨덴어만을 위한 새로운 리모컨을 만드는 대신, 영어, 스페인어, 중국어에서 사용하는 것과 동일한 리모컨을 사용하는 것입니다.
이점: 이 표준화된 "리모컨"을 사용하기 때문에, 스웨덴어 학습자를 다른 언어의 학습자들과 쉽게 비교할 수 있습니다. 또한, 이미 이 리모컨을 사용할 줄 아는 컴퓨터 프로그램(파서, parsers)을 사용하여 데이터를 더 빠르게 분석할 수 있습니다.

도전 과제: "망가진" 집 지도 그리기

까다로운 점은 학습자의 문장이 종종 "망가져" 있다는 것입니다. 철자가 틀렸거나, 조각이 빠졌거나, 붙어 있으면 안 되는 단어들이 붙어 있을 수도 있습니다.

문제: 만약 표준적인 지도가 "I go store" (원래는 "I go to the store"여야 함)와 같은 문장을 그리려고 한다면, 혼란에 빠질 수 있습니다.
해결책: 저자들은 이 특정 프로젝트를 위한 특별한 규칙(가이드라인)을 만들었습니다.
- 규칙 1: 지도를 고치지 말고 설명을 고쳐라. 학생이 "traffik"(traffic의 오타)이라고 썼다면, 지도는 철자를 "traffik"으로 유지하되 이를 명사라고 라벨링합니다. 원래 올바르게 쓰였던 것처럼 흉내 내지 않고, 발생한 그대로의 실수를 기록합니다.
- 규칙 2: 의도를 따르라. 만약 학생이 자신의 모국어(아랍어나 쿠르드어 등)를 직역한 듯한 문장을 썼다면, 저자들은 비록 문법이 이상하더라도 학생이 그 단어들을 어떻게 작동시키려 의도했는지에 기반하여 스웨덴어 단어들을 분석합니다.

과정: 인간과 로봇의 협업

팀은 컴퓨터가 모든 일을 하게 두지 않았습니다. 그들은 "Human-in-the-Loop(인간 참여형)" 방식을 사용했습니다.

로봇 (UDPipe): 먼저, 컴퓨터 프로그램이 문장을 빠르게 훑어보고 지도의 초안을 그렸습니다. 이는 학생이 그림의 대략적인 윤곽을 잡는 것과 같습니다.
인간 (편집자들): 그 다음, 인간 전문가들(이들 역시 스웨덴어를 배우는 중입니다!)이 그 초안을 검토했습니다. 그들은 컴퓨터의 작업을 확인하고, 오류를 수정하며, "전"과 "후"의 문장이 완벽하게 일치하는지 확인했습니다.
- 비유: 컴퓨터가 경로를 알려주는 GPS라면, 인간은 GPS가 놓친 구덩이나 우회로를 알고 있어서 운전하기 전에 경로를 수정하는 운전자와 같습니다.

결과는 어떠했는가? (성적표)

저자들은 인간들이 서로 얼마나 일치하는지, 그리고 컴퓨터가 인간과 비교했을 때 얼마나 잘 수행했는지를 테스트했습니다.

인간 간의 일치도: 인간들은 **98%에서 99%**의 확률로 서로 일치했습니다. 이는 마치 경연 대회에서 세 명의 심사위원이 거의 항상 같은 점수를 주는 것과 같습니다. 이는 그들의 규칙이 명확하고 따르기 쉽다는 것을 증명합니다.
컴퓨터 vs 인간: 컴퓨터는 특히 품사(단어가 명사인지 동사인지 아는 것 등)를 식별하는 데 꽤 뛰어났습니다. 하지만 단어 사이의 복잡한 관계(트리 구조)를 파악하는 데 있어서는 컴퓨터가 인간보다 더 많은 실수를 했습니다.
"오류 밀도" 요인: 컴퓨터는 학습자의 문장에 오류가 많을 때 가장 힘들어했습니다. 문장에 실수가 많을수록 컴퓨터가 지도를 그리는 데 어려움을 겪었습니다. 반면, 인간은 지저분한 문장을 처리하는 데 훨씬 더 능숙했습니다.

향후 계획

저자들은 이것이 시작일 뿐이라고 말합니다. 현재는 510개의 문장을 가지고 있지만, 원래 라이브러리에는 1,000개 이상의 에세이가 있습니다. 그들은 다음과 같은 계획을 가지고 있습니다:

더 많은 문장을 포함하도록 트리뱅크를 확장한다.
이 새로운 수정된 지도를 학습시켜 컴퓨터가 더 잘하도록 훈련시킨다.
궁극적으로, 매번 인간이 모든 문장을 확인할 필요 없이 학습자의 오류를 자동으로 감지하고 분석하는 시스템을 사용한다.

요약하자면: 그들은 스웨덴어 학습자 문장에 대한 고품질의 표준화된 지도를 구축했습니다. 그들은 인간이 이 지저분한 문장들을 매핑하는 방식에 대해 서로 동의할 수 있음을 증명했으며, 컴퓨터가 점점 좋아지고는 있지만 문장이 정말 까다로워질 때는 여전히 인간의 도움이 필요하다는 것을 보여주었습니다.

문제 제기
본 논문은 스웨덴어 제2언어 습득(SLA)을 분석하기 위한 표준화되고 교차 언어적으로 비교 가능한 자원의 부족 문제를 다룬다. Universal Dependencies(UD)는 수백 개의 언어에 걸쳐 형태 통사적 주석을 위한 프레임워크를 성공적으로 구축해 왔으나, 학습자 언어에 대한 그 적용은 제한적이다. 기존의 학습자 코퍼스는 언어별로 특화되어 있고 노동 집약적이며, 오류에만 초점을 맞춘 오류 태깅 체계에 의존하는 경우가 많아, 이는 중간언어(interlanguage)의 더 넓은 특성을 가릴 수 있다. 또한, 비표준 철자, 분리 복합어(split compounds), 코드 스위칭(code-switching), 통사적 칼크(syntactic calques)와 같은 학습자 스웨덴어의 특이성은 표준 UD 가이드라인이 충분히 다루지 못하는 구체적인 과제를 제기한다. 따라서 학습자 문장을 정규화된 교정문과 대조하고, 일관된 프레임워크 아래 주석을 달아 교차 언어적 SLA 연구 및 학습자 지향적 NLP 시스템 개발을 용이하게 할 병렬 트리뱅크가 필요하다.

방법론
저자들은 성인 스웨덴어 학습자가 작성한 502개의 에세이를 포함하는 SweLL-gold 코퍼스에서 파생된 병렬 트리뱅크인 UD Swedish-SweLL을 소개한다. 이 자원은 현재 510개의 문장-교정 쌍으로 구성되어 있다. 방법론은 다음과 같다:

주석 프레임워크: 트리뱅크는 Universal Dependencies(UD) 표준을 따른다. 학습자 특유의 현상을 다루기 위해 저자들은 공식 UD 규칙을 확장한 내부 가이드라인을 개발하였다. 주요 적응 사항은 다음과 같다:
- 직역 주석(Literal Annotation): 표제어(lemma)는 교정된 형태 대신 철자 및 굴절 오류(예: 잘못 철자된 어간)를 그대로 보존하며, 의존 관계는 교정 가설에 기반하여 의도된 통사적 역할을 반영한다.
- 분절(Segmentation): 분리 복합어는 compound 관계를 통해 연결된 철자 오류로 취급되는 반면, 과소 분절된 단어는 통사적 헤드(head)를 기준으로 단일 단위로 분석된다.
- 전이 현상(Transfer Phenomena): 통사적 칼크와 코드 스위칭은 출발어의 가이드라인을 따라 주석을 달며, 표면형은 스웨덴어이지만 구조는 전이된 경우 특정 마커(예: CalquedLang)를 사용한다.
- 병렬 일관성(Parallel Consistency): 원문 학습자 문장과 정규화된 교정문이 모두 주석 처리되어 의미적 일관성을 보장하며, 이를 통해 트리 쿼리를 통해 특정 오류 유형을 검색할 수 있다.
주석 과정: 워크플로에는 UDPipe 2의 swedish-talbanken-ud-2.15 모델을 사용한 자동 사전 주석 작업과 엄격한 수동 검증 과정이 포함된다.
- 인간 검증(Human Validation): 각 문장 쌍은 최소 두 명의 주석자(연구자 및 L2 스웨덴어 배경을 가진 학생)에 의해 독립적으로 검증되었다.
- 갈등 해결(Conflict Resolution): 의견 불일치는 학습자 문장을 교정문과 병렬로 분석하는 회의를 통해 해결되었다.
- 후처리(Post-processing): 데이터는 중복 제거, 개인정보 보호를 위한 메타데이터 제거, 추론된 특징(예: Typo=Yes) 추가 등의 클리닝 과정을 거쳤다.
평가(Evaluation): 저자들은 상호 주석자 일치도(IAA) 지표, 특히 트리 편집 거리를 사용한 크리펜도르프의 $\alpha$ (Krippendorff's $\alpha$ )와 원시 정확도 점수를 사용하여 주석 품질을 평가하였다. 또한 문장 길이, 오류 밀도, 주석자 유형(인간 vs. 파서)과 같은 요인이 성능에 미치는 영향을 결정하기 위해 선형 회귀를 이용한 통계 분석을 수행하였다.

주요 기여

UD Swedish-SweLL: UD 2.17의 일부로 공개된 최초의 학습자 스웨덴어 의존 트리뱅크이다. 이는 510개의 골드 주석 병렬 문장 쌍을 제공한다.
적응된 가이드라인: 오류의 직역적 표현과 해석적 의존 분석 사이의 균고를 맞추는 L2 스웨덴어 주석을 위한 일련의 내부 가이드라인을 제공한다. 이 가이드라인은 비표준 복합어, 일치 오류, 전이 현상과 같은 구체적인 과제를 다룬다.
실증적 평가: 주석 품질에 대한 상세한 분석을 통해 높은 상호 주석자 일치도를 보고하고, 학습자 특유의 요인이 인간 및 자동 주석 성능에 미치는 영향을 정량화하였다.
자원 가용성: 트리뱅크는 Grew-match 및 Korp와 같은 도구를 통해 다운로드 및 쿼리가 가능하여 연구 및 시스템 개발에 즉각적으로 활용될 수 있다.

결과

주석 품질: 연구는 높은 상호 주석자 일치도(IAA)를 보고한다. 의존 주석의 경우 크리펜도르프의 $\alpha$ 점수는 0.970에서 0.993 사이였으며, UPOS 태깅의 경우 0.983에서 0.993 사이였다. 이러한 점수는 다른 L2 트리뱅크에서 보고된 수치를 상회한다.
파서 vs. 인간 성능: 인간 주석자는 자동 파서보다 일관되게 우수한 성능을 보였으며, 특히 원문 학습자 문장에서 그러했다. 그러나 파서는 특히 UPOS 태깅에서 강력한 성능을 보여주었다.
요인의 영향:
- 오류 밀도(Error Density): 이는 주석 난이도의 가장 강력한 예측 변수였다. 이는 파서의 성능(정규화된 오류 밀도가 1단위 증가할 때마다 LAS가 21 퍼센트 포인트 감소)에 인간의 성능보다 더 큰 영향을 미쳤다.
- 문장 길이: 긴 문장은 파서의 의존 구문 분석 성능을 약간 감소시켰으나, UPOS 태깅에는 미미하거나 약간 긍정적인 영향을 미쳤다. 인간의 경우 문장 길이는 미미한 영향을 미쳤다.
- 코퍼스 유형: 인간과 파서 모두 원문 학습자 문장보다 교정된(대상) 문장에서 더 나은 성능을 보였으나, 그 차이는 상대적으로 작았다.

의의
본 논문은 UD Swedish-SweLL이 전통적인 오류 탐지를 넘어 중간언어에 대한 세밀하고 기술적인 분석으로 나아가기 위한 가치 있는 자원을 제공한다고 주장한다. UD 표준을 채택함으로써 이 트리뱅크는 다음을 가능하게 한다:

교차 언어적 비교 가능성: L1과 L2, 서로 다른 L2 간, 그리고 중간언어와 표준 규범 간의 비교를 용이하게 한다.
NLP 개발: 문법 오류 교정(GEC) 및 자동 오류 탐지와 같은 학습자 지향적 시스템의 학습 데이터로 활용된다.
가이드라인 조화: 학습자 트리뱅크를 위한 제안된 조화 원칙의 실질적인 적용 사례를 제공하며, UD가 별도의 오류 중심 주석 레이어 없이도 학습자 언어의 체계적인 특이성을 효과적으로 다룰 수 있음을 입증한다.

저자들은 높은 IAA가 향ere 확장을 위해 이중 수동 주석의 필요성을 줄일 수 있을 만큼 가이드라인이 견고함을 시사하며, UPOS 태깅에 대한 사전 학습된 모델의 강력한 성능은 대규모 트리뱅킹을 위한 준자동화된 워크플로로의 경로를 제시한다고 결론짓는다.