When alignment is not agreement: Construct-specific validation of large language models for CAF measurement in L2 writing

제2언어 학습의 세계에서, 교사와 연구자들은 학생이 글을 얼마나 잘 쓰는지 이해하기 위해 오랫동안 세 가지 틀에 의존해 왔습니다. 그들은 문장 구조가 얼마나 복잡하고 다양한지를 나타내는 복잡성(complexity), 문법적 실수가 얼마나 없는지를 측정하는 정확성(accuracy), 그리고 하나의 사고 단위당 학생이 얼마나 많은 단어를 생산하는지를 세는 유창성(fluency)을 살펴봅니다. 수십 년 동안 이러한 특성을 측정하려면 인간 전문가가 모든 문장을 읽고, 절(clause)의 개수를 세고, 모든 오류를 표시해야 했으며, 이는 느리고 비용이 많이 들며 일관되게 반복하기 어려운 과정이었습니다. 이제 인공지능이 새로운 가능성을 제시합니다. 에세이를 쓰거나 질문에 답할 수 있는 것과 같은 강력한 컴퓨터 시스템인 대규모 언어 모델(LLM)에게 이러한 언어적 특징을 즉각적으로 세어보라고 요청할 수도 있습니다. 그러나 중요한 질문이 남아 있습니다. 컴퓨터가 에세이의 일반적인 순위를 정하는 데 있어 인간과 동의한다고 해서, 그것이 실제로 동일한 수치를 산출한다는 뜻일까요? 만약 교사가 이 수치를 사용하여 학생의 발달 과정을 추적한다면, 컴퓨터의 작고 일관된 계산 오류가 학생이 발전하고 있는지 아니면 어려움을 겪고 있는지에 대해 완전히 잘못된 결론을 내리게 할 수 있습니다.

이란 마라게(Maragheh) 대학교의 한 연구팀은 여섯 가지 서로 다른 공개 인공지능 시스템을 인간 전문가와 비교 테스트함으로써 이 질문에 답하고자 했습니다. 연구진은 45명의 대학생이 작성한 90개의 논증적 에세이를 수집했으며, 각 학생은 소셜 미디어에 관한 동일한 주제로 2주 간격으로 두 개의 에세이를 작성했습니다. 인간 전문가들은 엄격한 규칙에 따라 복잡성, 정확성, 유창성에 대해 단일한 수치 세트를 결정하기 위해 모든 에세이를 먼저 읽었습니다. 그 후, 연구진은 ChatGPT, Gemini 등을 포함한 여섯 가지 서로 다른 AI 모델에 동일한 에세이들을 입력하며, 동일한 엄격한 규칙을 적용하여 수치를 반환하도록 요청했습니다. 목표는 AI가 좋은 에세이를 쓸 수 있는지 보는 것이 아니라, 인간이 계산할 수 있는 정확한 값을 재현할 수 있는 정밀한 측정 도구로서 역할을 할 수 있는지 보는 것이었습니다.

결과는 AI와 인간이 무엇에 동의하는지와 그들이 실제로 무엇을 측정하는지 사이의 놀라운 격차를 드러냈습니다. 모든 AI 모델은 인간의 점수와 강한 상관관계를 보였습니다. 즉, 인간이 어떤 에세이를 복잡성이 높다고 평가하면 AI 역시 이를 높게 평가했습니다. 이는 컴퓨터가 에세이의 상대적인 순서를 이해하는 데 능숙하다는 것을 의미합니다. 그러나 연구진이 실제 수치를 살펴보았을 때, 컴퓨터는 종종 특정한 방식으로 틀렸습니다. 문장 안에 얼마나 많은 절이 포함되어 있는지를 세는 작업인 복잡성의 경우, 6개 모델 중 5개가 일관되게 값을 과소평가했습니다. 그들은 인간보다 더 적은 복잡한 구조를 포착했습니다. 이것은 무작위적인 실수가 아니라, 모델들이 학생의 글에 담긴 복잡한 부분을 놓치는 듯한 체계적인 편향이었습니다. 반면, 모델들은 정확성을 측정하는 데 훨씬 더 뛰어났습니다. 그들은 문장에 문법적 오류가 있는지 여부를 신뢰성 있게 식별할 수 있었으며, 그들의 수치는 인간의 계산값에 훨씬 더 가까웠습니다.

연구는 또한 모델들이 시간이 흐름에 따라 학생의 글쓰기 변화를 얼마나 잘 감지하는지도 조사했습니다. 학생들은 두 개의 에세이를 썼기 때문에, 연구진은 AI가 인간이 파악한 것과 동일한 성과 변화를 포착하는지 확인할 수 있었습니다. 인간 전문가들은 학생들이 두 번째 에세이에서 문법적 오류는 현저히 줄었지만, 더 짧고 덜 복잡한 문장을 생성했다는 것을 발견했습니다. AI 모델들은 정확성과 유창성에 대해서는 이 패턴을 성공적으로 복제하여, 학생들이 실수를 덜 하고 문장당 단어 수가 줄어들었다는 것을 정확히 식별했습니다. 그러나 복잡성에 있어서 모델들은 일관성이 없었습니다. 어떤 모델은 복잡성의 하락을 전혀 알아차리지 못했고, 다른 모델들은 변화를 너무 작게 보았습니다. 이는 AI가 대규모 학생 집단의 일반적인 경향을 포ole 포착하는 데는 유용할 수 있지만, 인간의 감독 없이 문장 구조에 대한 상세한 분석에 필요한 정확한 수치를 제공하는 데는 아직 신뢰할 수 없음을 시사합니다.

테스트된 여섯 가지 시스템 중, DeepSeek이라는 모델이 세 가지 범주 모두에서 정확성을 가장 잘 균형 있게 맞추며 전반적으로 가장 우수한 성능을 보였습니다. 또 다른 모델인 ChatGPT는 정확성을 측정하는 데 특히 강점이 있었습니다. 그러나 연구진은 모든 과업에 완벽한 단일 모델은 없다는 점을 강조했습니다. AI의 성능은 정확히 무엇을 측정하느냐에 따라 크게 달라졌습니다. 오류를 세는 데 탁월한 모델이 문장 구조를 세는 데는 서툴 수 있습니다. 이러한 발견은 인간의 점수와 기계의 점수 사이의 높은 상관관계가 두 모델이 서로 대체 가능하다는 생각에 도전합니다. 이는 인공지능을 언어 평가에 사용하는 것이, 단순히 그것이 모든 것에 똑같이 잘 작동한다고 가정하는 것이 아니라, 도구가 수행하도록 요청받은 특정 작업에 대해 검증되는 주의 깊고 구체적인 접근 방식이 필요함을 시사합니다.

궁극적으로, 이 연구는 이러한 강력한 컴퓨터 시스템이 이 특정 분야에서 인간의 판단을 대체하는 것이 아니라 가치 있는 조력자라는 결론을 내립니다. 이들은 방대한 양의 글을 빠르게 스캔하여 일반적인 패턴을 찾거나 면밀한 검토가 필요한 에세이를 표시할 수 있습니다. 그러나 정밀한 측정, 특히 문장 구조의 복잡성과 관련해서는 그들이 산출한 수치를 여전히 인간의 기준에 비추어 확인해야 합니다. 이 연구는 자동화된 언어 분석을 추구함에 있어, 같은 방향으로 움직이는 것과 동일한 수치에 도달하는 것 사이의 차이가 연구자와 교사가 반드시 명심해야 할 중요한 구분임을 강조합니다.