Evaluating Large Language Models for Diacritic Restoration in Romanian Texts: A Comparative Study

당신에게 루마니아어 메시지 더미가 있다고 상상해 보세요. 하지만 누군가 실수로 글자에서 모든 "액센트(특수 기호)"를 지워버렸습니다. 루마니아어에서 이러한 기호(예: ă, î, ș, ț, â)는 단어가 "먹다"를 의미하는지 아니면 "자다"를 의미하는지, 혹은 "마을"인지 "도시"인지를 결정짓는 결정적인 차이입니다. 기호가 없는 텍스트는 마치 모든 거리 이름이 지워진 지도와 같아서, 혼란스럽고 읽기 어렵습니다.

이 연구는 큰 질문을 던졌습니다. 오늘날 어디에서나 볼 수 있는 초지능형 AI 챗봇(대규모 언어 모델, LLM)이 이 엉망이 된 텍스트를 고치고 올바른 위치에 액센트를 다시 넣을 수 있을까요?

위대한 액센트 복원 경주

연구진은 거대한 경주 트랙을 설치했습니다. 그들은 2,000개의 루마니아어 문장을 모아 모든 액센트를 제거하여 "백지 상태"로 만들었습니다. 그런 다음, 최고의 성능을 내는 모델을 가려내기 위해 유명한 AI 모델들을 출발선으로 초대했습니다.

라인업은 다음과 같습니다:

• 헤비급: OpenAI의 GPT-3.5, GPT-4, 그리고 최신 모델인 GPT-4o.
• 구글의 도전자: Gemini 1.0 Pro.
• 오픈 소스 크루: Meta의 Llama 2와 3 (다양한 크기), MistralAI의 Mixtral, 그리고 몇몇 다른 모델들.
• "더미" 베이스라인: "Echo"라고 불리는 단순한 트릭입니다. 이 모델은 아무것도 고치려 하지 않고, 엉망인 텍스트를 그대로 복사하기만 했습니다. 이것은 모두가 넘어야 할 "노력 제로"의 점수였습니다.

승자와 패자

챔피언:
결과는 명확했습니다. OpenAI의 GPT-4o가 이 쇼의 독보적인 스타였습니다. 텍스트를 수정하는 방법이 담긴 세 가지 예시를 포함한 특정 지침(프롬프트)을 받았을 때, GPT-4o는 총 평균 점수(TAS) 0.9639를 기록했습니다.

이를 체감해 보자면, "Echo" 베이스라인(게으른 복사기)은 0.8100점을 받았습니다. 이는 GPT-4o가 단순히 조금 더 잘한 것이 아니라, 베이스라인보다 19% 더 뛰어난 성과를 냈음을 의미합니다. 실제로 가장 높은 성적을 거둔 모델(GPT-4o)은 베이스라인보다 1.190배 더 우수했습니다. 그것은 마치 완벽하게 간을 맞춘 요리를 만드는 마스터 셰프와 같았고, 베이스라인은 그냥 아무 양념 없이 음식을 내놓는 것과 같았습니다.

놀라운 부진:
여기서 흥미로운 점이 발생합니다. 당신은 더 크거나 유명한 오픈 소스 모델들이 잘할 것이라고 생각할 수도 있지만, 논문은 그렇지 않다고 시사합니다.

• Meta의 Llama 2 7B는 완전히 실패했습니다. 이 모델은 0.002점을 기록했는데, 이는 매우 낮은 수치입니다. 이 모델은 너무 형편없어서 베이스라인보다 0.002배의 성능밖에 내지 못했습니다. 말 그대로 0은 아니었지만, 엄청난 격차로 베이스라인을 이기는 데 실패하여 사실상 쓸모가 없었습니다.
• Meta의 Llama 2 70B(더 큰 버전)는 약간 더 나은 성적을 보였지만 여전히 베이스라인을 넘지 못했고, 0.146점을 기록했습니다.
• Mixtral 8x7B와 RoLlama 2 7B 역시 베이스라인 미만의 점수를 기록했습니다. 즉, 텍스트를 고치는 데 있어 단순히 오류를 복사하는 것보다도 못했다는 뜻입니다.

이 논문은 크기가 항상 성공을 보장하지는 않는다는 점을 시사합니다. 모델이 거대하거나 오픈 소스라고 해서 루마니아어 액센트의 까다로운 규칙을 다룰 줄 안다는 의미는 아닙니다.

비밀 병기: "프롬프트"

연구 결과, AI에게 어떻게 요청하느냐가 AI 자체만큼이나 중요하다는 것이 밝혀졌습니다.

• "3-샷(3-Shot)" 트릭: 가장 좋은 결과는 연구진이 AI에게 작업을 수행하기 직전에 "엉망인 텍와" "수정된 텍스트"의 예시 세 개를 제공했을 때 나왔습니다. 이것을 "3-샷" 프롬프트라고 합니다.
• 결과: 이 방법을 사용했을 때 GPT-4o의 점수가 상승했습니다. 논문은 학생에게 수학 문제를 풀기 전 몇 가지 풀이 과정을 보여주는 것처럼, AI에게 몇 가지 예시를 주는 것이 단순한 명령만 내리는 것보다 규칙을 훨씬 더 잘 이해하도록 돕는다고 제안합니다.

어디서 틀렸나? (오류 분석)

승자들도 실수를 저질렀으며, 연구진은 문제가 발생하는 지점을 면밀히 살펴보았습니다.

1. â와 î의 혼동: 가장 흔한 오류는 â와 î를 섞어 쓰는 것이었습니다. 루마니아어에서 â는 단어 중간에 사용되고, î는 시작이나 끝에 사용됩니다. AI는 가끔 중간에 î를 넣는 실수를 했습니다(예를 들어 român 대신 romîn이라고 쓰는 것). 전체 오류의 약 **21.3%**가 이 특정 혼동에서 발생했습니다.
2. 대문자: AI는 문장 시작 부분의 대문자 단어에서 더 어려움을 겪었습니다. 예를 들어, 소문자 ș에 대해서는 **98.7%**의 정확도를 보였지만, 대문자 Ș에 대해서는 **94.6%**의 정확도만을 보였습니다.
3. 과한 열정: Mixtral과 같은 일부 모델은 너무 의욕이 앞섰습니다. 그들은 존재하지 않는 곳에 액센트를 추가했습니다. 논문은 Mixtral이 10단어 문장당 평균 16.35개의 추가 액센트를 더해 "환각(hallucination)"(가짜 액센트)을 만들어 텍스트를 오히려 악화시켰다고 언급했습니다.

이 논문이 배제하는 것들

이 논문은 무엇이 효과가 없는지에 대해 매우 명확하게 밝히고 있습니다:

• "어떤" LLM이라도 이 작업에 적합하다는 생각을 배제합니다. 이 연구는 Llama 2 7B와 같은 인기 있는 모델들이 실제로 아무것도 하지 않는 것보다 못하다는 것을 명시적으로 보여줍니다.
• "덩치가 크면 항상 좋다"는 생각을 배제합니다. 700억 개의 파라미터를 가진 Llama 2 모델은 형편없는 성적을 냈지만, 더 작지만 잘 튜닝된 GPT-4o는 훌륭한 성과를 냈습니다.
• 단순한 복사가 유효한 해결책이라는 생각을 배제합니다. "Echo" 베이스라인은 단순히 텍스트를 복사하는 것이 낮은 기준점임을 보여주기 위해 사용되었으며, 많은 모델이 이 기준조차 통과하지 못함으로써 복사가 복원 전략으로서 효과적이지 않음을 증명했습니다.

얼마나 확신할 수 있는가?

저자들은 자신들의 발견에 대해 신중하고 구체적입니다. 그들은 단순히 추측한 것이 아니라, 두 가지 출처(사전 프로젝트와 웹 크롤러)에서 가져온 1,000개의 문장 데이터셋을 통해 모델을 검증했습니다.

• 그들은 가장 좋은 모델(GPT-4o)과 가장 나쁜 모델(Llama 2 7B) 사이의 격차가 실제적이고 유의미하다고 제안합니다.
• 그들은 "3-샷" 프롬프트 전략이 성공의 핵심 요소라고 제안합니다.
• 그들은 자신들의 결과가 특정 하위 집합(1993년 이후의 루마니아어 규칙)에 기반하고 있으며, 역사적 텍스트나 다른 언어에 대해서는 테스트하지 않았음을 언급합니다.

결론

루마니아어 텍스트의 액센트를 고치고 싶다면, 아무 AI나 잡지 마세요. 이 논문은 Open가 GPT-4o를 따를 만한 몇 가지 예시와 함께 사용할 때 현재 이 작업에 가장 적합한 도구라고 제안합니다. 그러나 다른 많은 인기 모델들은 여로 배우는 단계에 있으며, 시작할 때보다 텍스트를 더 엉망으로 만들 수도 있습니다.

이 연구는 AI가 강력하긴 하지만, 루마니아어의 미묘하고 아름다운 디테일을 마스터하기 위해서는 여전히 좋은 지침과 예시 같은 약간의 도움이 필요하다는 결론을 내립니다.