기술 요약: DaLA – 실제 세계의 오류를 기반으로 한 덴마크어 언어적 수용성 평가

문제 정의

문장의 적절성(well-formedness) 또는 자연스러움(naturalness)을 판별하는 작업인 언어적 수용성 평가는 거대 언어 모델(LLM)의 언어적 능력을 평가하는 데 매우 중요합니다. 광범위하게 사용되는 언어들을 위한 상당한 자원이 존재하지만, 덴마크어와 같은 저자원 언어는 고품질 데이터셋의 부족을 겪고 있습니다. ScaLA(Nielsen, 2023)와 같은 기존의 덴마크어 자원은 제한적인 오염 전략(예: 단어 제거 및 교체)에 의존하며, 이는 원어민이 범하는 실제 세계의 오류를 대표하지 못합니다. 또한, 이러한 기존 방식들은 종종 특정 주석 형식(예: Universal Dependencies POS 태그)에 의존하며, 오염된 문장이 실제로 비문법적임을 보장하기 위한 엄격한 검증이 부족합니다. 이러한 격차는 특히 밀접하게 연관된 언어(예: 덴마크어와 노르웨이어)를 처리할 때 발생하는 미묘한 오류로 인해 다국어 모델의 훈련과 평가를 저해합니다.

방법론

저자들은 체계적이고 자동화된 오염 프로세스를 통해 실제 세계의 언어적 오류를 반영하도록 설계된 데이터셋이자 평가 프레임워크인 DaLA(Danish Linguistic Acceptability Evaluation)를 소개합니다.

1. 오류 분석 및 오염 함수

DaLA의 핵심은 덴마크어 원어민들이 흔히 범하는 오류 분석에서 도출된 14개의 새로운 오염 함수입니다. 선정 과정에서는 덴마크 언어 위원회 및 덴마크 문학 협회의 "Typiske Problemer(전형적인 문제)" 목록을 활용했습니다. 오류는 구현 복잡성, 오류 유형(문법적, 의미적, 기계적), 그리고 진정으로 틀린 문장을 생성할 가능성에 따라 점수가 매겨졌습니다.

• 오류 유형: 14가지 새로운 유형에는 특정 대명사 간의 혼동(nogle vs. nogen, som vs. der), 동사 쌍(ligge vs. lægge), 접미사(-ende vs. -ene), "R 문제"(접미사 혼동), 소유격 부패, 그리고 한정사 오류가 포함됩니다.
• 구현: 각 오류 유형은 SpaCy 라이브러리를 사용하는 전용 함수로 구현되었습니다. 저자들은 오염이 우연히 문법적으로 옳은 문장을 만들 수도 있는 경우를 최소화하기 위해 입력 문장을 필터링하는 보수적인 접근 방식을 채택했습니다.

2. 반복적 오염 알고리즘

소스 데이터 내의 언어적 현상 빈도가 다양함에도 불구하고 균형 잡힌 오류 분포를 보장하기 위해, 저자들은 반복 알고리즘(Algorithm 1)을 사용합니다.

• 프로세스: 오염 함수는 시작 데이터셋에서의 적용 빈도에 따라 정렬됩니다. 알고리즘은 가장 빈도가 낮은 오염을 먼저 적용하며, 오류가 주입되면 해당 문장을 "오염됨(corrupted)"으로 표시합니다. 이후의 더 빈번한 오염은 오염되지 않은 문장에만 적용됩니다.
• 소스 데이터: 기본 문장은 언어적으로 수용 가능하다고 가정되는 Universal Dependencies Danish (UDD) 코퍼스에서 추출되었습니다.

3. 검증 프레임워크

생성된 데이터셋의 품질을 보장하기 위해 하이브리드 검증 프로세스가 구현되었습니다:

• 자동 검증: 선도적인 덴마크어 문법 오류 수정 시스템인 writeassistant 도구를 사용하여 오염된 문장을 분류했습니다. 이 시스템은 진정으로 오염된 문장을 식별하는 데 평균 99.7%의 정밀도(precision)를 달성했습니다.
• 수동 검증: 자동 시스템이 표시하지 못하거나 잘못 분류한 문장을 언어 전문가가 수동으로 검토했습니다. 높은 빈도의 오류 유형(대명사 및 접미사 한정사 오염)에 대해서는 304개의 예시를 추출하여 통계적으로 정밀도를 조정했습니다.
• 결과: 오염 함수의 최종 평균 정밀도는 약 0.957로, 생성된 문장의 대다수가 실제로 비문법적임을 확인했습니다.

4. 데이터셋 구축

최종 DaLA 데이터셋은 문장 쌍(하나의 정문, 하나의 오염문)으로 구성됩니다.

• 표준 분할: ScaLA와의 비교 가능성을 유지하기 위해 1,664개 쌍(훈련 512, 검증 1,024, 테스트 128)을 제공합니다.
• 확장 버전: "DaLA Medium"(훈련 샘플 4,592개) 및 "DaLA Large"(훈련 샘플 6,124개)도 제공되어 총 7,656개의 문장에 달합니다.
• 레이블: 각 쌍에는 이진 수용성 레이블과 특정 오류 유형의 분류가 포함됩니다.

주요 기여

1. 실제 세계 오류 도출: 이전 덴마크어 벤치마크의 제한된 범위를 넘어, 일반적인 원어민 오류에 기반한 14개의 새로운 오염 함수를 도출했습니다.
2. 강건한 데이터셋 생성: 임의의 덴마크어 문장 소스에 적용 가능한, 기존의 수용성 판단이나 특정 주석 형식에 의존하지 않는 데이터셋인 DaLA를 구축했습니다.
3. 엄격한 검증: 오류 주입의 정밀도를 보장하기 위해 이중 단계(자동 및 수동) 검증 프로세스를 구현하여, 오염 정확도가 검증되지 않았던 기존 데이터셋의 격차를 해소했습니다.
4. 벤치마킹: 이 새로운 벤치마크에 대해 최첨단 오픈 소스 및 오픈 웨이트 LLM의 베이스라인 결과를 제공합니다.

결과

저자들은 여러 상위 성능 LLM(인코더 전용, 지시어 튜닝, 베이스 생성형, 추론 모델 포함)을 DaLA에서 평가하고, Matthews 상관 계수(MCC)를 사용하여 ScaLA 벤치마크와 성능을 비교했습니다.

• 난이도 증가: 10개 모델 중 9개 모델이 ScaLA에 비해 DaLA에서 성능 저하를 보였습니다. 평균 성능 하락 폭은 **6.04%**였으며, 일부 모델은 최대 **14.55%**까지 하락했습니다.
• 변별력: 이 데이터셋은 더 높은 변별력을 입증했습니다. 특히 추론 모델(예: Qwen3)이 가장 급격한 하락(평균 14.32%)을 보였는데, 이는 DaLA가 이전 벤치마크가 놓쳤던 언어적 수용성의 미묘한 차이를 더 잘 포착함을 시사합니다.
• 모델 특이성: DFM Sentence Encoder Large는 유일하게 성능 향상을 보인 모델로, 이는 해당 모델의 특화된 덴마크어 전용 학습 때문인 것으로 보이며, DaDA가 더 깊은 언어 특화 지식을 가진 모델을 선호함을 시사합니다.

의의 및 주장

본 논문은 DaLA가 합성된 규칙 기반 오류에서 실제 세계의 데이터 기반 오류로 전환함으로써 덴마크어 언어적 수용성 평가의 중요한 진전을 이루었다고 주장합니다.

• 엄격성: 더 다양한 오염 유형을 포함하고 이를 엄격하게 검증함으로써, DaLA는 LLM에 대해 더 포괄적이고 어려운 테스트를 제공합니다.
• 대표성: 이 벤치마크는 실제 사용 시나리오와 일반적인 실수를 더 잘 대표하며, 모델의 언어적 능력을 더욱 본질적으로 평가할 수 있습니다.
• 차별화: 결과는 DaLA가 고성능 모델과 저성능 모델, 특히 표면적인 패턴에 의존하는 모델과 진정한 문법적 이해를 갖춘 모델을 구분하는 데 더 효과적임을 보여줍니다.

저자들은 현재의 방법론이 덴마크어 언어 규칙에 뿌리를 두고 있지만, 이 프레임키는 다른 언어 및 오류 유형(의미적, 화용적)으로 확장 가능하며, 저자원 언어 전반에 걸쳐 더 현실적인 언어 평가를 위한 경로를 제공한다고 결론지었습니다.