💬 NLP

From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment

본 논문은 루브릭 기반의 교수 품질 점수 평가를 위해 SHAP 기여도와 LLM 생성 근거를 결합한 프레임워크를 제안하며, 미세 조정된 PLM이 더 높은 정확도를 달 achievement하는 반면, SHAP가 LLM 근거보다 더 충실하고 일관되며 전이 가능한 설명을 제공한다는 것을 밝혀냈다.

원저자: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

게시일 2026-06-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 학생들의 에세이를 채점하는 교인다고 상상해 보세요. 당신에게는 피드백이 좋은지, 나쁜지, 혹은 그 중간 어디쯤인지 결정하기 위한 엄격한 체크리스트(루브릭)가 있습니다. 이제, 이 채점 작업을 수행하기 위해 두 종류의 서로 다른 "AI 비서"를 고용했다고 상상해 봅시다.

이 논문은 이 두 AI 비서가 얼마나 잘 작동하는지, 그리고 더 중요한 것은, 그들이 왜 특정 점수를 주었는지 얼마나 잘 설명할 수 있는지에 대한 성적표입니다.

다음은 이 연구의 내용을 쉬운 비유를 들어 설명한 것입니다.

두 명의 경쟁자

연구진은 특정 루브릭인 "피드백의 질"을 기준으로 수업 대화(전사 데이터)를 채점하는 두 가지 유형의 AI 모델을 테스트했습니다.

"특화된 인턴" (미세 조정된 PLM): 이들은 이 정확한 채점 작업에 대한 수천 개의 예시로 특별히 훈련된 표준 AI 모델입니다. 이들은 교과서를 암기하고 시험을 수백 번 연습한 학생과 같습니다.
"똑똑한 제너럴리스트" (프롬프트 기반 LLM): 이들은 온라인에서 대화할 때 접할 수 있는 것과 같은 거대하고 강력한 AI 모델로, 이 특정 작업에 대해 훈련되지 않았습니다. 대신, 연구진은 그들에게 "여기에 루브릭이 있으니, 이것을 채점하라"는 지침(프롬프트)을 주었습니다. 이들은 이 특정 시험을 본 적은 없지만, 즉석에서 이 일을 맡게 된 아주 똑똑한 전문가와 같습니다.

첫 번째 테스트: 누가 점수를 제대로 맞히는가? (점수 산정)

연구진은 다음과 같이 물었습니다. 누가 더 정확한 점수를 주는가?

결과: 특화된 인턴이 훨씬 더 정확했습니다. 이 모델은 인간 전문가가 주는 점수와 매우 유사한 점수를 일관되적으로 부여했습니다.
함정: 인턴에게는 "안전한 길만 택하는" 이상한 습관이 있었습니다. 가장 높은 점수(7점)나 가장 낮은 점수(1점)를 거의 주지 않았습니다. 점수가 중간 부분(3, 4, 5점)에 몰리는 경향이 있었습니다. 정확하긴 했지만, 다소 지루하고 위험을 회피하는 성향을 보였습니다.
제너럴리스트: 똑박한 제너럴리스트는 전반적인 정확도는 떨어졌습니다. 하지만 더 "용감"했습니다. 비록 틀릴 때도 있었지만, 아주 높거나 아주 낮은 점수를 포함하여 더 다양한 점수를 부여했습니다.

시사점: 만약 가장 정밀한 숫자를 원한다면 훈련된 모델을 사용하십시오. 만약 실수하더라도 극단적인 점수를 내는 것을 두려워하지 않는 모델을 원한다면 거대 챗봇을 사용하십시오.

두 번째 테스트: 누가 진실을 말하는가? (설명)

이 부분이 가장 중요한 부분입니다. 교육 현장에서는 점수만 필요한 것이 아니라, 왜 그런 점수가 나왔는지 알아야 합니다.

특화된 인턴은 SHAP이라는 수학적 도구를 사용했습니다. SHAP을 '포렌식 회계사'라고 생각하십시오. 이 도구는 전사 데이터를 문장 단위로 살펴보며, 각 문장이 최종 점수를 얼마나 변화시켰는지 정확하게 계산합니다. 이는 마치 계산기가 "이 문장은 0.5점을 더했고, 저 문장은 0.2점을 뺐다"라고 말하는 것과 같습니다.
똑똑한 제너럴리스트는 그냥 말을 했습니다. 자신이 중요하다고 생각하는 문장들을 자연스러운 언어로 작성하여 생성했습니다. 이는 마치 학생이 손을 들고 "제 생각에 이 부분이 중요합니다, 왜냐하면..."이라고 말하는 것과 같습니다.

연구진은 "삭제하고 확인하기(Delete and See)" 게임을 통해 누가 진실을 말하는지 테스트했습니다.

AI가 중요하다고 언급한 문장들을 가져왔습니다.
그 문장들을 전사 데이터에서 삭제했습니다.
그 후, AI에게 비어 있는 전사 데이터를 다시 채점하도록 요청했습니다.

논리: 만약 AI가 점수를 준 이유를 진정으로 이해했다면, "중요한" 문장들을 삭제했을 때 점수가 폭락하거나 급격히 변해야 합니다. 만약 AI가 그저 그럴듯한 이야기를 지어낸 것이라면, 그 문장들을 삭제해도 점수는 크게 변하지 않을 것입니다.

결과: **특화된 인턴 (SHAP)**은 정직했습니다. 연구진이 SHAP이 지목한 문장들을 삭제했을 때, 점수가 크게 변했습니다. 이 AI는 결정을 내리는 데 있어 명확히 그 특정 문장들에 의존하고 있었습니다.
결과: **똑똑한 제너럴리스트 (LLM)**는 자주 거짓말을 했습니다. 연구진이 LLM이 중요하다고 말한 문장들을 삭제했을 때, 점수는 거의 변하지 않았습니다. LLM은 그럴싸하게 들리는 설명을 만들어냈지만, 그 문장들은 실제 결정에 영향을 미치는 핵심 요소가 아니었습니다. 이는 마치 어떤 학생이 왜 A를 받아야 하는지에 대해 설득력 있는 연설을 하지만, 증거로 제시한 부분을 제거했을 때 그 학생의 성적이 실제로 변하지 않는 것과 같습니다.

세 번째 테스트: 노트를 서로 바꿀 수 있는가? (교차 모델)

연구진은 이 설명들이 보편적인지 확인하기 위해 실험했습니다.

특화된 인턴이 식별한 "중요한 문장들"을 가져와서, 이를 스마트 제너럴리스트의 입력값에서 삭제했습니다. 결과: 제너럴리스트의 점수가 유의미하게 변했습니다. 인턴의 수학적 방식은 제너럴리스트에게도 적용되었습니다.
스마트 제너럴리스트가 식별한 "중요한 문장들"을 가져와서, 이를 특화된 인턴의 입력값에서 삭제했습니다. 결과: 인턴의 점수는 거의 움직이지 않았습니다. 제너럴리스트의 "의견"은 인턴에게 중요하지 않았습니다.

시사점: 수학적 설명(SHAP)은 서로 다른 AI의 뇌에서도 작동하는 보편적인 진리입니다. 챗봇의 설명은 그 특정 챗봇에만 국한된 것이며, 다른 모델에 테스트했을 때는 유지되지 않습니다.

최종 판결

이 논문은 거대하고 강력한 챗봇(LLM)이 좋은 설명을 생성하는 데는 뛰어나지만, 교사를 평가하는 것과 같은 고위험 상황에서 결정을 내린 이유를 설명할 때는 신뢰할 수 없다고 결론짓습니다.

SHAP (수학): 투명한 창문과 같습니다. 어떤 벽돌이 벽을 지탱하고 있는지 정확히 볼 수 있습니다. 이는 신뢰할 수 있고 일관적입니다.
LLM의 근거 (대화): 마술사의 손기술과 같습니다. 인상적이고 설득력 있어 보이지만, 자세히 들여다보면(중요한 부분을 삭제해보면) 그것들이 실제로 결정의 무게를 지탱하고 있지 않다는 것을 알 수 있습니다.

요약하자면: 만약 학교 현장에서 점수에 대한 신뢰할 수 있는 이유가 필요하다면, 챗봇의 이야기(Story)가 아니라 수학(SHAP)을 믿으십시오. 챗봇은 글을 쓰는 데는 훌륭하지만, 현재로서는 자신의 결정에 대해 증언하기에는 부적절한 증인입니다.

기술 요약: 점수 산출에서 설명으로

문제 정의

자동화된 채점 모델은 교실 대화록과 같은 복잡한 언어 수행 능력에 대해 루브릭 기반의 품질 등급을 부여하기 위해 점점 더 많이 배치되고 있습니다. 그러나 이러한 시스템은 일반적으로 내부 추론 과정에 대한 통찰 없이 스칼라 점수만을 제공하는 "블랙박스"로 기능합니다. 이러한 투명성 부족은 이해관계자들이 자동화된 판단을 이해하고, 신뢰하며, 잠재적으로 이의를 제기해야 하는 고위험 교육 환경에서 특히 문제가 됩니다. 거대 언어 모델(LLM)은 자유 형식의 근거(rationale)를 생성할 수 있지만, 최근 문헌에 따르면 이러한 설명은 설득력은 있을지언정 모델의 실제 의사 결정 과정에는 충실하지 않을 수 있다고 합니다. 본 연구가 다루는 핵심 과제는 텍스트의 어느 부분이 모델의 루브릭 기반 점수를 실제로 유도하는지를 결정하는 것과, 특정 설명 방법이 이러한 동인(drivers)을 얼마나 충실하게 포착하는지 평가하는 것입니다.

방법론

저자들은 루브릭 기반 채점의 문장 수준 해석 가능성을 위한 통합 프레임워크를 제안하며, 이를 NCTE 코퍼스(주석이 달린 6,005개의 초등 수학 교실 대화 segment)의 CLASS(Classroom Assessment Scoring System) 내 피드백의 질(QoF) 차원에 적용하여 구체화했습니다.

실험 설정

본 연구는 두 가지 모델 군을 비교합니다:

미세 조정된 사전 학습 언어 모델(PLM): BERT, ALBERT, RoBERTa, DeBERTa(base 및 large 변형)를 포함합니다. 이 모델들은 1~7점 사이의 QoF 점수를 예측하기 위해 회귀 분석을 위해 미세 조정되었습니다.
지시어 튜닝된 거대 언어 모델(LLM): Llama 3.1, Mixtral, Qwen 3, Mistral 변형을 포함합니다. 이 모델들은 퓨샷 프롬프팅(few-shot prompting)을 통해 점수를 산출하고, 제로샷 프롬프팅(zero-shot prompting)을 통해 문장 순위를 매깁니다.

해석 가능성 및 평가 프로토콜

본 프레임워크는 세 가지 주요 메커로니즘을 사용하여 설명을 평가합니다:

설명 생성:
- SHAP (SHapley Additive exPlanations): 계층적 PLM 아키텍처 내의 문장 임베딩 레벨에 적용되어 모델 불가지론적(model-agnostic) 특징 기여도를 생성합니다.
- LLM 근거(Rationales): LLM이 주어진 점수에 가장 영향력이 큰 상위 10개 문장을 순위 매기도록 프롬프트가 구성됩니다.
충실도 분석 (삭제 기반): 설명 방법이 식별한 상위- $k$ (여기서 $k=10$ ) 문장을 점진적으로 제거하고 채점 모델을 다시 실행합니다. 예측 변화량( $\Delta$ )은 충실도의 대리 지표 역할을 합니다; 변화 폭이 클수록 해당 설명이 영향력 있는 텍스트를 성공적으로 식별했음을 나타냅니다.
교차 모델 평가: 한 모델 군(예: PLM의 SHAP)에서 생성된 설명을 다른 모델 군(예: LL 모델의 LLM)의 입력을 섭동(perturb)시키는 데 사용하며, 그 반대의 경우도 수행합니다. 이는 설명이 아키텍처 간에 견고하게 전이되는지, 아니면 모델 특이적인지를 테스트합니다.
정렬 지표: SHAP와 LLM 간의 문장 선택 중복도를 측정하기 위해 자카드 유사도(Jaccard similarity)와 스피어먼 상관계수(Spearman rank correlation)를 계산합니다.

주요 기여

일반 프레임워크: 루브릭 기반 채점에 특화된, 모델 불가지론적 샤플리 값(Shapley value) 기여도와 LLM 생성 근거를 결합한 원칙적인 문장 수준 해석 가능성 프레임워크를 제안합니다.
비교 분석: 전문화된 미세 조정 PLM과 프롬프트 기반 LLM을 채점 성능 및 설명 충실도 측면에서 체계적으로 비교합니다.
충실도 평가: 삭제 기반 테스트를 통해 설명 방법을 경험적으로 평가하여, SHAP는 예측을 안정적으로 유도하는 문장을 식별하는 반면, LLM 근거는 종종 더 작고 일관성이 낮은 변화를 유도함을 밝혀냈습니다.
교차 모델 일관성: SHAP 기여도가 다른 아키텍처 간에도 견고하게 전이되는 반면, LLM 근거는 제한적이고 일관되지 않은 영향을 미친다는 새로운 프로토콜을 제시합니다.
교육적 시사점: 투명한 피드백 도구 설계에 관한 논의를 통해, 검증되지 않은 LLM 근거를 고위험 환경에서의 권위 있는 정당화 도구로 사용하는 것에 대해 경고합니다.

결과

채점 성능 (RQ1)

PLM: 미세 조정된 PLM은 LLM보다 예측 정확도에서 유의미하게 우수한 성능을 보입니다. 가장 우수한 PLM(DeBERTaV3 large)은 0.96의 평균 절대 오차(MAE)를 달성하여 상수 베이스라인과 유사한 성능을 보였습니다. 그러나 미세 조정된 PLM은 레이블 압축(label compression) 현상을 보여, 극단적인 점수(1 또는 7)를 거의 예측하지 못하고 중간 범위(3~5)로 쏠리는 경향이 있습니다.
LLM: 프롬프트 기반 LLM은 더 높은 오차율(최고 MAE: Mistral Small의 1.02)을 보이지만, 1~7점 전체 범위를 아우르는 예측을 생성하여 PLM보다 점수 변동성을 더 잘 보존합니다.

설명 충실도 (RQ2)

SHAP vs. LLMs: 삭제 기반 테스트 결과, SHAP가 식별한 문장은 LLM이 선택한 문장보다 더 크고 일관된 예측 변화를 생성합니다.
정렬: SHAP와 LLM의 문장 선택 간 중복도는 낮습니다 (평균 자카드 유사도: 0.085; 평균 스피어먼 상관계수: 0.062).
안정성: LLM은 제어 능력이 제한적이며, 요청된 문장 수를 정확히 반환하지 못하는 경우가 많습니다. 또한 LLM의 근거는 해당 모델에 적용하더라도 작은 규모의 불안정한 예측 변화만을 유도합니다.

교차 모델 전이 (RQ3)

PLM에서 LLM으로: SHAP(PLM에서 추출)에 의해 식별된 문장을 제거하면 LLM의 예측에 유의미하고 즉각적인 변화가 발생하며, 이는 SHAP가 아키텍처를 초월하여 관련 있는 특징을 식별함을 시사합니다.
LLM에서 PLM으로: LLM에 의해 식별된 문장을 제거하면 SHAP 기반 제거에 비해 PLM의 예측 변화가 현저히 작게 나타납니다. 이는 LLM 근거가 PLM의 예측을 구동하는 특징을 신뢰성 있게 포착하지 못함을 나타내는 비단조적(non-monotonic) 궤적을 보임을 의미합니다.

의의 및 주장

본 논문은 SHAP가 루브릭 기반 채점에 있어 LLM 생성 근거보다 더 충실하고 전이 가능한 설명을 제공한다고 결론짓습니다. LLM은 즉각적인 사용성과 넓은 점수 분포를 제공하지만, 그 설명은 기저의 계산 과정에 충실하지 않으며 다른 모델 아키텍처로 일반화되지 않는 경우가 많습니다.

저자들은 제안된 프레임 much가 고위험 교육 환경에서 채점 모델과 그 설명을 평가하기 위한 원칙적인 기초를 제공한다고 주장합니다. 특히 교사 피드백과 같이 신뢰와 이의 제기가 중요한 맥락에서, 검증되지 않은 LLM 근거에 의존하는 것은 위험하다고 강조합니다. 대신, SHAP와 같은 모델 불가지론적 기여도 측정 방식이 투명하고 실행 가능한 평가를 위한 더 안정적인 토대를 제공합니다. 본 연구는 LLM의 채점 능력이 무용하다는 것이 아니라, 엄격한 충실도 평가 없이는 현재의 근거를 자동화된 판단에 대한 권위 있는 정당화로 취급해서는 안 된다는 점을 강조합니다.