Automatic Hint Generation and Evaluation for Reasoning Questions

인공지능의 세계에서 대규모 언어 모델은 복잡한 퍼즐을 풀고 어려운 질문에 답하는 데 있어 놀라울 정도로 숙련되었습니다. 이러한 디지털 시스템은 논리 문제를 추론하고, 계산을 수행하며, 인간 전문가와 대등할 정도의 유창함으로 과학적 개념을 설명할 수 있습니다. 그러나 교육 현장에서 혹은 누군가가 새로운 기술을 배우려고 노력할 때, 단순히 최종 정답을 건네받는 것은 거의 도움이 되지 않습니다. 진정한 학습은 해결책을 찾아가는 과정 속의 고군분투 속에서 일어나며, 이 과정은 직접적인 폭로보다는 안내를 필요로 합니다. 여기서 '힌트'라는 개념이 필수적이 됩니다. 좋은 힌트는 목적지를 알려주지 않으면서도 학습자를 올바른 경로로 이끌 수 있도록 충분한 정보를 제공하여 부드럽게 밀어주는 역할을 합니다. 연구자들의 과제는 기계가 이러한 힌트를 자동으로 생성하도록 가르치는 것입니다. 기계는 외줄 타기를 해야 합니다. 즉, 유용할 만큼 충분히 정보가 있어야 하고, 주제에서 벗어나지 않을 만큼 관련성이 있어야 하며, 실수로 정답을 흘리지 않을 만큼 안전해야 합니다. 힌트가 너무 모호하면 쓸모가 없고, 너무 구체적이면 연습의 목적을 해치게 됩니다.

인스브루크 대학교의 한 연구자는 인공지능 모델이 추론 질문에 대해 더 나은 힌트를 만들 수 있도록 가르침으로써 이 문제를 해결하고자 했습니다. 그들은 다단계 논리 퍼즐부터 일상적인 상식, 과학 시험 문제, 수학 문장제 문제에 이르기까지 다섯 가지 서로 다른 출처에서 광범위하고 어려운 질문들을 수집하는 것으로 시작했습니다. 연구가 관리 가능하면서도 대표성을 갖출 수 있도록, 그들은 이 분야들에서 발견되는 다양한 사고 양식을 포괄하는 1,500개의 다양한 질문 세트를 선정했습니다. 그런 다음 그들은 세 가지 서로 다른 대규모 언어 모델에게 네 가지 독특한 접근 방식을 사용하여 모든 질문에 대한 힌트를 생성하도록 요청했습니다. 어떤 방식은 모델이 힌트를 쓰는 동안 정답을 볼 수 있게 허용했고, 다른 방식은 모델이 질문 자체에만 의존하여 눈을 가린 채 작업하도록 강제했습니다. 또한 복잡한 질문을 힌트를 생성하기 전에 더 작고 단순한 단계로 나누는 방법들도 테스트했습니다.

생성된 힌트의 품질을 판단하기 위해, 연구자는 네 가지 핵심 특성을 측정하는 엄격한 테스트 시스템을 개발했습니다. 그들은 힌트가 사용자를 진실로 안내하기 위해 가능한 답변의 범위를 얼마나 잘 좁히는지 결정하는 '수렴성'을 확인했습니다. 또한 힌트가 미묘한 방식으로라도 정답을 드러내지 않는지 확인하기 위해 '정답 유출'을 측정했습니다. 그들은 힌트가 난해한 전문 용어를 사용하는 대신 일반인이 이해할 수 있는 개념을 사용하는지 보기 위해 '친숙도'를 평가했습니다. 마지막으로, 힌트가 질문된 특정 내용에 집중하고 있는지 확인하기 위해 '관련성'을 점검했습니다. 이러한 측정치를 사용하여, 연구자는 정답을 알려주는 힌트에는 벌점을 부여하면서도 도움이 되고 안전한 힌트에는 우선순위를 두는 점수 산정 체계를 만들었습니다. 그런 다음 그들은 이 높은 점수를 받은 힌트들을 사용하여 모델을 미세 조정(fine-tuning)했는데, 이는 인공지능이 특정 사례로부터 학습하여 자신의 행동을 개선하는 과정으로, 마치 학생이 과목을 마스터하기 위해 일련의 연습 문제를 공부하는 것과 같습니다.

결과는 이 모델을 가르치는 방법이 효과적이었음을 보여주었습니다. 연구자가 원래의 모델과 선별된 힌트로 미세 조정된 모델을 비교했을 때, 일관된 개선이 발견되었습니다. 미세 조정된 모델은 정답 유출을 피하는 데 훨씬 더 뛰어났으며, 이는 정답을 실수로 드러낼 가능성이 훨씬 낮아졌음을 의미합니다. 동시에, 그들이 생성한 힌트는 더욱 친숙하고 접근하기 쉬워졌으며, 더 직관적으로 느껴지는 개념들을 사용했습니다. 결정적으로, 모델들은 질문에 대한 관련성을 유지하거나 사용자를 올바른 답으로 인도하는 능력을 잃지 않았습니다. 이 연구는 학습에 필요한 노력을 저해하지 않으면서 학습을 지원하는 AI 도구를 만들기 위해, 훈련에 사용되는 데이터를 신중하게 선택하고 가중치를 부여함으로써 인공지능을 더 효과적이고 안전한 조력자로 형상화하는 것이 가능하다는 것을 시사합니다. 연구자는 이러한 개선이 완만하긴 했지만, 다양한 유형의 모델과 질문 스타일에 걸쳐 신뢰할 수 있는 결과였으며, 학습에 필요한 노력을 훼손하지 않으면서 학습을 지원하는 AI 도구를 만들기 위한 실질적인 경로를 제시한다고 언급했습니다.