Structure, Association, and Decision Value: Representation-Based Difficulty Estimation for Adaptive Inference in African-Language NLI

인공지능의 세계에는 시스템을 더 무겁게 만들지 않으면서도 더 똑똑하게 만들고자 하는 열망이 커지고 있습니다. 한 문장을 읽고 그것이 다른 문장과 관련하여 참인지, 거짓인지, 혹은 무관한지를 결정할 수 있는 디지털 비서를 상상해 보십시오. 자연어 추론(natural language inference)이라고 알려진 이 작업은 컴퓨터가 인간의 논리를 얼마나 잘 이해하는지를 측정하는 표준적인 테스트입니다. 수년 동안 연구자들은 이 작업을 높은 정확도로 처리할 수 있는 거대하고 강력한 모델들을 구축해 왔지만, 이를 실행하려면 엄청난 양의 컴퓨 computing 자원이 필요합니다. 아프리카의 다양한 언어들을 포함한 많은 지역에서는 이러한 무거운 컴퓨팅 자원이 부족합니다. 이는 실질적인 질문으로 이어졌습니다. 더 작고 저렴한 모델이 문장을 보고 자신이 어려움을 겪고 있는지 판단하여, 꼭 필요할 때만 비싸고 강력한 모델로 전환할 수 있을까요? '적응형 추론(adaptive inference)'이라 불리는 이 아이디어는 쉬운 질문은 작은 뇌로, 어려운 질문은 큰 뇌로 보내어 에너지와 시간을 절약할 것을 약속합니다.

한 연구자는 15개의 서로 다른 언어에서 컴퓨터가 논리를 얼마나 잘 이해하는지 측정하기 위해 설계된 데이터셋을 사용하여, 특히 아프리카 언어들을 대상으로 이 아이디어를 테스트하기로 했습니다. 그들은 컴퓨터 모델의 내부적인 '생각', 즉 문장을 처리할 때 내부 계층에서 형성되는 수학적 패턴이 어려움에 대한 신뢰할 수 있는 신호 역할을 할 수 있는지 확인하고 싶었습니다. 만약 이러한 내부 패턴이 어떤 문장이 어려운지를 정확하게 예측할 수 있다면, 개발자들은 오직 어려운 경우에만 더 강력한 프로세서로 자동으로 격상시키는 시스템을 구축하여 자원을 절약할 수 있을 것입니다. 연구자는 이 문제를 각 조각이 다음 단계로 넘어가기 전 완벽하게 맞물려야 하는 일련의 퍼즐처럼 취급하며 엄격하고 단계적인 조사를 통해 접근했습니다.

그들이 마주한 첫 번째 퍼즐은 모델 자체에 관한 것이 아니라, 그들이 사용하고 있는 테스트에 관한 것이었습니다. 영어, 프랑스어, 스와힐리어와 함께 아프리카 언어들이 포함된 그들이 의존한 데이터셋은 알고 보니 오래된 유명한 영어 테스트를 직접 번역한 것이었습니다. 그들이 테스트하던 컴퓨터 모델들은 이미 그 오래된 영어 테스트를 학습했기 때문에, 새로운 테스트의 영어, 프랑스어, 스와힐리어 버전에 대한 답을 사실상 암기한 상태였습니다. 연구자가 결과를 확인했을 때, 한 모델이 모든 영어 테스트 질문을 맞혔다는 것을 발견했는데, 이는 진정한 이해력을 측정하는 테스트라면 불가능한 점수였습니다. 이는 표준 테스트가 오염되었음을 드러냈습니다. 즉, 모델이 새로운 문장을 얼마나 잘 이해하는지가 아니라, 과거의 데이터를 얼마나 잘 기억하는지를 측정하고 있었던 것입니다. 결과적으로 연구자는 영어, 프랑스어, 스와힐리어의 결과를 완전히 폐기하고, 모델이 정답을 본 적이 없는 15개의 아프리카 언어에만 집중해야 했습니다.

깨끗한 데이터셋을 확보한 후, 연구자는 두 번째 퍼즐인 '더 큰 모델이 항상 더 나은가'라는 가정으로 넘어갔습니다. 적응형 추론의 세계에서 시스템은 보통 작은 모델이 '저렴한' 옵션이고, 필요할 때 개입하는 큰 모델이 '비싼' 옵션이 되는 계층 구조에 의pon합니다. 연구자는 더 큰 모델이 작은 모델보다 일관되게 우수한 성능을 보일 것이라고 가정했습니다. 그러나 연구자가 15개의 아프리카 언어에 걸쳐 모델을 테스트했을 때, 놀라운 현실을 발견했습니다. 큰 모델이 어떤 언어에서는 확실히 더 나았지만, 다른 언어들에서는 오히려 더 나쁜 성능을 보였습니다. 15개 언어 중 6개 언어에서는 성능 차이가 너무 커서 큰 모델이 명백히 열등했습니다. 이는 '크면 좋다'는 단순한 규칙이 성립하지 않음을 의미했습니다. 단순히 크기만을 기준으로 더 큰 모델로 격상시키는 시스템은 도움을 주고자 하는 상당수의 언어에 대해 오히려 상황을 악화시킬 수 있습니다.

세 번째이자 가장 복잡한 조사 부분은 연구자가 의사결정을 위해 사용하고자 했던 내부 신호들을 살펴보는 것이었습니다. 그들은 모델의 내부 상태에서 파생된 세 가지 유형의 수학적 요약치를 조사하여, 이 요약치들이 문장의 난이도와 상관관계가 있는지 확인했습니다. 그들은 이 신호들이 어떻게 행동하는지는 그것이 어떻게 측정되느냐에 따라 전적으로 달라진다는 것을 발견했습니다. 연구자가 데이터를 하나의 혼합된 그룹으로 보았을 때는 한 신호가 난이도의 강력한 예측 변수로 나타났습니다. 그러나 데이터를 언어별로 분리하자 그 신호는 사라졌습니다. 그 신호는 문장의 난이도를 측정하는 것이 아니라, 단지 문장이 어떤 언어로 쓰였는지를 측정하고 있었던 것입니다. 각 언어마다 평균적인 난이도가 달랐기 때문에, 그 신호는 문장의 구체적인 도전 과제가 아니라 언어의 정체성을 포착함으로써 유용한 것처럼 보였던 것입니다. 이는 매우 중요한 발견이었습니다. 통계량이 모든 것을 섞었을 때는 매우 유의미하고 구조화되어 보일 수 있지만, 개별 사례에 대한 의사결정을 내리는 데 있어서는 완전히 무용할 수 있다는 사실입니다.

언어적 혼동을 수정한 후에도, 연구자는 남은 신호들이 특정 목적을 위한 경로 결정(routing decisions)에는 유용하지 않다는 것을 발견했습니다. 그들은 더 강력한 모델을 사용하는 것으로부터 얻는 '이득'을 정의하는 두 가지 서로 다른 방법이 있다는 것을 발견했습니다. 한 가지 방법은 강력한 모델이 정답의 확률을 바꾸는지 묻는 것이고, 다른 한 가지 방법은 강력한 모델이 실제로 최종적인 예/아니오 결정을 바꾸는지 묻는 것입니다. 연구자는 자신들이 연구한 내부 신호들이 한 가지 결과는 예측할 수 있지만, 다른 결과는 전혀 예측하지 못한다는 것을 발견했습니다. 예를 들어, 특정 내부 패턴은 신뢰도 점수가 얼마나 개선될지는 잘 예측했지만, 최종 답변이 바뀔지에 대해서는 아무것도 알려주지 않았습니다. 시스템의 목표는 단순히 신뢰도 점수를 높이는 것이 아니라 정답을 얻는 것이기에, 유망해 보였던 그 신호는 실제 과제와는 무관했습니다.

마지막으로, 연구자는 이러한 신호들이 실제 시나리오에서 성능을 실제로 개선할 수 있는지 테스트하기 위해 시스템을 구축했습니다. 그들은 사용 가능한 최선의 신호들을 사용하여 작은 모델에서 큰 모델로 언제 전환할지를 결정하는 컴퓨터를 훈련시켰습니다. 결과는 실망스러웠습니다. 어떻게 튜닝하더라도, 적응형 방식은 모든 문장에 대해 비싸고 강력한 모델을 그대로 실행하는 것보다 더 나은 성능을 보여주지 못했습니다. 시스템은 정확도를 희생하지 않고서는 계산 능력을 전혀 절약하지 못했습니다. 그러나 이야기는 완전한 실패로 끝나지 않았습니다. 연구자는 어떤 문장이 어렵고 어떤 문장이 쉬운지 정확히 아는 완벽한 시스템인 '오라클(oracle)'을 계산했습니다. 이 완벽한 시스템은 훨씬 적은 컴퓨팅 자원을 사용하면서도 훨씬 높은 정확도를 달est할 수 있었습니다. 이는 자원을 절약할 수 있는 잠재력이 존재하지만, 연구자가 테스트한 특정 신호들이 그 잠재력을 여는 올바른 열쇠가 아니었음을 증명했습니다.

이 연구의 핵심 교훈은 인공지능의 복잡한 지형에서, 어떤 신호가 통계적으로 강력하고 수학적으로 구조화되어 있다고 해서 반드시 의사결정에 유용하다는 뜻은 아니라는 점입니다. 연구자는 모델의 내부 패턴이 문장의 난이도가 아니라 사용되는 언어와 깊게 연관될 수 있으며, 신호가 '난이도'의 한 가지 정의와는 완벽하게 상관관계가 있더라도 다른 정의에 대해서는 무용할 수 있음을 보여주었습니다. 그들의 발견은 우리가 저자원 언어를 위한 스마트하고 적응적인 시스템을 구축하기 전에, 먼저 우리의 테스트가 깨끗한지, 우리의 가정이 검증되었는지, 그리고 우리의 성공에 대한 정의가 실제 목표와 일치하는지를 반드시 확인해야 함을 시사합니다. 그때까지 가장 신뢰할 수 있는 전략은 단순히 강력한 모델을 모든 것에 사용하는 것이며, 우리가 만들려는 지름길은 종종 우리를 다시 출발점으로 되돌려 놓을 뿐입니다.