💬 NLP

How Far Can Prompting Go for Minimal-Edit Ukrainian Grammatical Error Correction?

이 논문은 우크라이나어 특화된 최소 편집 지시어와 퓨샷 예시를 사용하여 상용 및 오픈 소스 LLM을 전략적으로 프롬프팅함으로써, 미세 조정된 모델과의 격차를 90% 이상 좁히는 동시에 특정 언어적 과잉 교정 패턴을 드러내며 우크라이나어 문법 오류 교정에서 최첨단 성능에 근접한 성과를 달성할 수 있음을 입증한다.

원저자: Kateryna Karpo, Artem Chernodub

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kateryna Karpo, Artem Chernodub

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 완벽한 우크라이나어를 쓰도록 돕는 친구가 있다고 상상해 보세요. 당신은 그 친구의 실수를 고쳐주고 싶지만, 아주 구체적인 규칙이 하나 있습니다: 오직 실제 오류만 고쳐야 한다는 것입니다. 문장을 더 "멋지게" 바꾸거나, 단어를 교체하거나, 스타일을 개선해서는 안 됩니다. 당신은 오직 오타, 빠진 쉼표, 잘못된 문법만을 바로잡아 그들의 고유한 목소리를 그대로 남겨두어야 합니다.

이 논문은 강력한 AI "두뇌"(대규모 언어 모델)가 처음부터 다시 학습할 필요 없이 이 엄격한 규칙을 따르도록 가르치는 방법에 관한 것입니다.

이 실험의 이야기를 쉽게 설명하면 다음과 같습니다:

문제점: 과잉 의욕이 넘치는 편집자

연구진은 유명한 AI 모델들(구글, OpenAI, Anthropic의 모델들)을 사용하여 우크라이나어 텍스트를 수정하는 실험을 했습니다.

문제점: AI에게 단순히 "이 문장을 고쳐줘"라고 요청했을 때, AI는 과잉 의욕이 넘치는 편집자처럼 행동했습니다. AI는 단순히 오타만 고치는 것이 아니라, 문장 전체를 다시 쓰고, 단어를 유의어로 바꾸며, 스타일까지 변경해 버렸습니다.
결과: AI가 실제로 틀리지 않은 부분까지 바꾸었기 때문에, 낮은 점수를 받았습니다. AI는 고칠 필요가 없는 것들을 "수정"하고 있었던 것입니다.

해결책: "최소 편집" 규칙집

연구진은 AI가 제대로 작동하게 하려면, 우크키라이나어로 작성된 매우 구체적이고 상세한 지침서를 주어야 한다는 것을 깨달았습니다. 그들은 이것을 "최소 편집(Minimal-Edits)" 전략이라고 불렀습니다.

이것은 로봇에게 엄격한 레시피를 주는 것과 같습니다:

규칙: "철자와 구두점 같은 명백한 실수만 고칠 것."
금지 사항: "작가의 단어를 바꾸지 말 것. 유의어를 사용하지 말 것. 문장을 다시 쓰지 말 것."
세부 사항: 그들은 "대화에는 짧은 하이픈(-) 대신 긴 대시(—)를 사용할 것"이나 "직접 부를 때는 이름 'Nastya'를 'Naste'로 바꿀 것"과 같은 아주 미세하고 언어 특유의 규칙들을 포함했습니다.

실험: 규칙 테스트

그들은 11개의 서로 다른 상용 AI 모델과 하나의 오픈 소스 우크라이나어 모델을 테스트했습니다. 그들은 AI에게 일을 시키는 네 가지 다른 방식을 시도했습니다:

제로샷(Zero-shot): 단순한 명령 ("이것을 고쳐줘").
퓨샷(Few-shot): 단순한 명령에 올바른 수정 사례 몇 가지를 추가함.
최소 편집 (제로샷): 엄격한 규칙집만 제공, 예시는 없음.
최소 편집 (퓨샷): 엄격한 규칙집에 예시까지 추가함.

위대한 발견:
"최소 편집" 지침이 마법의 열쇠였습니다. 예시가 없더라도, 무엇을 하지 말아야 하는지(우크라이나어로) 정확하게 알려주는 것만으로도 AI가 텍스트를 다시 쓰는 것을 막을 수 있었습니다. 엄격한 규칙에 몇 가지 예시를 결합했을 때, AI는 믿을 수 없을 정도로 정확해졌습니다.

"코치" (AI 보조 최적화)

연구진은 여기서 멈추지 않았습니다. 그들은 한 AI를 프롬프트를 위한 "코치"로 사용했습니다.

코치는 AI가 어디에서 실수를 저질렀는지 살펴봤습니다.
그런 다음 지침서에 "이봐, 바로 이런 특정한 행동은 하지 마"라고 수정하도록 지침을 조정했습니다.
지침이 완벽해질 때까지 이 과정을 반복했습니다.

결과: 격차를 줄이다

이 연구 전에는, 가장 좋은 AI라도 이 특정 테스트(이전 모델 사용 시)에서 100점 만점에 약 27점 정도밖에 받지 못했습니다. 사람이 직접 튜닝한 최고의 AI(비싼 컴퓨터 하드웨어가 필요한 방식)는 73점을 받았습니다.

이 영리한 프롬프트와 "코치" 방법을 사용하여, 연구진은 상용 AI(Gemini 3.1-Pro)가 69점을 기록하게 만들었습니다.

이것이 의미하는 바: 그들은 질문하는 방식을 바꾸는 것만으로도, 저렴하고 사용하기 쉬운 AI와 비싸고 슈퍼컴퓨터로 훈련된 AI 사이의 격차를 **90%**나 줄였습니다.

함정: "너무 조심스러운" AI

한 가지 단점이 있었습니다. 엄격한 규칙이 너무 잘 작동한 나머지, AI가 지나치게 조심스러워졌습니다.

AI는 구두점과 문법 실수를 멈췄습니다 (좋은 결과!).
하지만 동시에, 어떤 희귀하고 까다로운 문법 오류를 건드리는 것을 두려워하여 고치지 않게 되었습니다 (나쁜 결과!).
이는 마치 나쁜 사람의 출입을 막는 경비원이, 수상해 보인다는 이유로 선량한 사람까지 실수로 막아버리는 것과 같습니다.

요약

이 논문은 우크라이나어 문법을 완벽하게 고치기 위해 항상 맞춤형의 비싼 AI를 만들 필요는 없다는 것을 보여줍니다. 표준적이고 강력한 AI에게 상세하고 언어 특유의 규칙 세트(우크라이나어로 작성된)와 몇 가지 예시를 제공한다면, 전문화된 시스템만큼이나 높은 성능을 낼 수 있습니다. 비밀은 더 큰 두뇌가 아니라, 더 나은 지침서에 있습니다.

기술 요약: 최소 편집(Minimal-Edit) 우크라이나어 문법 오류 교정을 위한 프롬프팅

문제 정의
우크라이나어 문법 오류 교정(GEC)은 전통적으로 전용 GPU 인프라를 필요로 하는 미세 조정(fine-tuned)된 대규모 언어 모델(LLM)에 의존해 왔습니다. 현재 미세 조정된 모델들이 벤치마크를 지배하고 있지만, 상용 API 기반 LLM은 최소 편집(minimal-edit) GEC—즉, 시스템이 저자의 원래 어휘와 문체를 보존하면서 명확한 문법, 철자, 구두점 오류만을 교정해야 하는 패러다임—측면에서는 거의 테스트되지 않은 상태입니다. API 기반 모델을 사용한 이전의 시도들(예: 제로샷 설정의 GPT-3.5)은 $F_{0.5} = 27.4$ 라는 낮은 결과값을 기록하며, 미세 조정된 SOTA(State-of-the-Art)인 $F_{0.5} = 73.14$ 에 크게 못 미치는 성적을 보였습니다. 핵심 질문은 고도화된 프롬프팅 전략이 미세 조정의 계산 비용 없이 이 격차를 줄일 수 있는가 하는 점입니다.

연구 방법론
저자들은 4개의 제공업체(OpenAI, Anthropic, Google, Moonshot)에서 가져온 11개의 상용 LLM과 하나의 오픈 소스 우크라이나어 모델(Lapa v0.1.2)을 UNLP 2023 GEC-only 벤치마크를 통해 평가했습니다. 연구에서는 네 가지 프롬프팅 전략을 체계적으로 비교했습니다:

제로샷(Zero-shot): 오류 교정을 위한 일반적인 지침 제공.
퓨샷(Few-shot): 제로샷 지침에 훈련 세트의 소스-타겟 교정 쌍을 추가하여 보강.
최소 편집 + 제로샷(Minimal-edits + Zero-shot): 교정 범위를 명시적으로 정의하는 상세한 시스템 프롬프트(예: 특정 우크라이나어 형태론 규칙, 구두점 관례)를 제공하고, 문체 변경이나 유의어 치환을 금지함.
최소 편집 + 퓨샷(Minimal-edits + Few-shot): 상세한 제약 조건과 퓨샷 예시를 결합.

또한, 저자들은 개발 세트의 오류 분석을 바탕으로 최적의 수동 프롬프트를 반복적으로 개선하기 위해 (Claude Code 기술을 활용한) LLM 지원 프롬프트 최적화 파이프라인을 채택했습니다. 평가는 공식 UNLP 2023 파이프라인을 사용하여, 우크라이나어 버전의 ERRANT를 통해 스팬(span) 수준의 정밀도(Precision), 재현율(Recall), 그리고 $F_{0.5}$ 를 계산했습니다.

주요 발견 및 결과

성능 격차: 가장 우수한 제로샷 구성(우크라이나어 지침을 사용한 Claude Opus 4.6)은 $F_{0.5} = 49.70$ 에 도달하여, 이전의 GPT-3.5 베이스라인보다 거의 두 배 높은 성능을 보였으나 여ยัง 미세 조정된 SOTA에는 크게 뒤처졌습니다.
프롬프트 언어 민감도: 제로샷 및 퓨샷 프롬프트의 경우, 대부분의 모델에서 영어 지침이 우크라이나어 지침보다 성능이 좋거나 대등했습니다. Claude 모델은 예외였는데, 우크라이나어로 프롬프트를 작성했을 때 성능 향상을 보였습니다. 그러나 최소 편집 전략의 경우, 특정 언어적 규칙(예: 호격 격 변화, 유음적 전치사 교체)을 영어로 정확하게 표현할 수 없기 때문에 우크라이나어 지침이 필수적이었습니다.
제약 조건의 영향: 최소 편집 제약 조건은 모든 모델에서 제로샷 및 퓨샷 베이스라인보다 뛰어난 성능을 보이며 가장 중요한 요소로 나타났습니다. 이는 모델이 문장을 다시 쓰거나 유의어를 치환하는 것을 방지함으로써 과잉 교정(False Positives)을 획기적으로 줄였습니다.
LLM 지원 최적화: 최적의 수동 프롬프트(Minimal-edits + Few-shot)에 LLM 지원 최적화를 적용한 결과 추가적인 개선이 이루어졌습니다. 가장 우수한 전체 구성인 최적화된 프롬프트를 사용한 Gemini 3.1-Pro는 $F_{0.5} = 69.22$ 를 달 기록했습니다. 이 결과는 이전 API 접근 베이스라인과 미세 조정된 SOTA($73.14$) 사이의 성능 격차를 90% 이상 좁혔습니다.
오류 분석: 상세한 최소 편집 지침은 구두점 및 격 오류와 같은 규칙 기반 카테고리에서 성능을 크게 개선했습니다. 그러나 이러한 지침은 모델을 지나치게 보수적으로 만들어, 저빈도 문법 카테고리(예: 전치사, 동사 태)에서의 재현율 하락을 초래했습니다. 연구에서는 엔 대시(en-dash)를 엠 대시(em-dash)로 무분별하게 정규화하거나 허용 가능한 형태론적 변이들을 통합하는 것과 같은 우크라이나어 특유의 다섯 가지 반복적인 과잉 교정 패턴을 식별했습니다.

의의 및 주장
본 논문은 API 기반 LLM을 사용한 최소 편집 우크라이나어 GEC를 위한 프롬프팅 전략을 체계적으로 평가한 첫 번째 연구임을 주장합니다. 주요 의의는 프롬프팅만으로도 미세 조정된 시스템과 경쟁할 수 있음을 입증하여, $F_{0.5}$ 지표 기준으로 격차를 약 45포인트에서 약 4포인트로 줄였다는 데 있습니다.

저자들은 네 가지 핵심 결론을 강조합니다:

지침 언어: 일반적인 프롬프트에는 영어가 충분하지만, 정밀한 최소 편집 제약을 위해서는 우크라이나어가 필요합니다.
전략 계층 구조: 최소 편집 제약이 가장 큰 이득을 제공하며, 그다음이 퓨샷 예시입니다.
최적화 전이 가능성: LLM 지원 프롬프트 최적화는 튜닝된 모델 제품군(예: Gemini)의 성능은 향상시키지만, 다른 제품군(예: 최적화된 프롬프트 사용 시 성능이 저하된 Claude 모델)으로 신뢰성 있게 전이되지 않습니다.
트레이드오프(Trade-offs): 상세한 프롬프팅은 고빈도 규칙 기반 오류에 대한 정밀도를 높이지만, 저빈도의 모호한 문법 카테고리에 대한 교정을 억제할 위험이 있습니다.

결론적으로, 미세 조정된 모델이 여전히 SOTA를 유지하고 있지만, 정교하게 설계된 프롬프팅 전략은 우크라이나어 GEC를 위해 SOTA에 근접한 성능을 구현하는 가볍고 접근 가능한 대안을 제공합니다.