A Measurement Note on Pre-Wrap and Reader-Visible Context Accounting for a Capped FLAN-T5 QA Pipeline

인공지능의 세계에서 질문에 답하는 기계들은 종-종 2단계 과정을 거칩니다. 먼저, 특정 질문과 관련된 정보를 찾기 위해 방대한 문서 라이브러리를 검색합니다. 둘로, 선택된 텍스트 조각들을 질문 자체와 함께 대규모 언어 모델에 입력하여 최종 답변을 생성합니다. 이 라이브러리 검색은 매우 중요합니다. 적절한 증거가 없다면 모델은 그저 추측할 뿐이기 때문입니다. 하지만 이러한 모델들은 한 번에 읽을 수 있는 텍스트의 양에 엄격한 제한이 있습니다. 마치 사람이 이야기의 시작 부분을 잊어버리기 전까지 일정 수의 사실만을 머릿속에 담을 수 있는 것과 같습니다. 라이브러리가 너무 많은 문서를 반환하면, 연구자들은 모델의 메모리 제한에 맞추기 위해 정보를 압축하여 줄여야 합니다. 수년 동안 이 절차가 성공적이었는지를 판단하는 표준적인 방법은 단순한 백분율을 살펴보는 것이었습니다. 연구자들이 텍스트의 25%를 유지했는지, 아니면 40%를 유지했는지를 보는 것입니다. '명목 압축률(nominal compression ratio)'이라고 알려진 이 숫자는 성공의 주요 척도가 되었습니다.

상하이 디엔지 대학교(Shanghai Dianji University) 연구진의 새로운 측정 노트는 이 백분율이 전체 이야기를 다 말해주지는 않는다는 아이디어에 이의를 제기합니다. 하올룬 탕(Haolun Tang)과 동료들이 이끄는 연구팀은 40%의 텍스트를 유지했다는 것을 아는 것이, 컴퓨터가 답변을 시작하기 전 실제로 얼마나 많은 텍스트를 보는지 아는 것과 같지 않다고 주장합니다. 그들은 원본 문서에서 모델이 읽는 최종 입력값으로 가는 과정에 텍스트를 특정 구조로 포맷팅하거나, 너무 길 경우 끝부분을 잘라내는 것을 포함한 여러 숨겨진 단계들이 존재한다는 것을 발견했습니다. 이러한 단계들은 보존되었다고 간주되었던 정보의 상당 부분을 소리 없이 삭제할 수 있습니다. 연구진은 이 단계들을 거쳐 살아남는 텍스트의 양을 정확히 감사함으로써, 기계가 읽는 실제 모습이 계획과 다를 수 있으며, 이 차이가 기계의 성능에 영향을 미친다는 것을 발견했습니다.

이를 조사하기 위해 연구진은 특정 유형의 질의응답 시스템을 사용하여 통제된 실험을 설정했습니다. 그들은 여러 문서를 읽어야 해결할 수 있는 복잡한 질문들로 구성된 데이터셋인 HotpotQA를 사용했습니다. 그들은 이 질문들을 고정된 증거 단락들과 결합한 다음, 텍스트를 자르기 위한 단순한 규칙을 적용했습니다. 한 그룹의 질문에는 문장의 첫 25%를 유지하고, 다른 그룹에는 첫 40%를 유지했습니다. '헤드 트렁케이션(head truncation, 앞부분 절단)'이라 불리는 이 방식은 간단하며, 매번 동일한 단어들이 유지되도록 하여 어떤 특정 문장이 선택되었는지에 대한 변수를 제거합니다. 연구진은 두 가지 뚜렷한 요소를 측정했습니다. 첫째, 텍스트가 기계용으로 포맷팅되기 직전, 즉 자르는 과정 직후에 남은 단어 수를 세었습니다. 둘째, 텍스트가 지침(instruction)에 감싸지고 기계의 512단어 제한에 맞춰 잘려 나간 후, 기계가 실제로 읽게 된 최종 프롬프트에 포함된 단어 수를 세었습니다.

결과는 계획과 현실 사이의 격차를 드러냈습니다. 연구진이 40%의 텍스트를 유지하는 것을 목표로 했을 때, 초기 집계에서는 실제로 평균 553단어가 보존되었습니다. 그러나 이 텍스트가 포맷팅되고 기계의 엄격한 메모리 제한에 맞춰 강제로 조정되자, 기계가 실제로 본 평균 단어 수는 443단어로 떨어졌습니다. 25%만을 유지하는 것을 목표로 했던 그룹에서는 초기 집계가 345단어였으나, 기계가 본 것은 338단어였습니다. 첫 번째 그룹에서의 차이는 작았지만, 두 번째 그룹에서는 포맷팅과 절단 과정으로 인해 보존된 텍스트의 거의 16%가 손실되었습니다. 이는 단순히 "우리는 텍스트의 40%를 유지했다"라고 말하는 것이 오해의 소지가 있다는 것을 의미했습니다. 기계는 연구자들이 생각했던 것보다 더 적은 정보로 작업하고 있었던 것입니다.

이러한 불일치는 답변의 품질에 직접적인 영향을 미쳤습니다. 기계가 더 많은 텍스트를 볼 때, 즉 가시적인 단어 수가 338단어에서 443단어로 증가했을 때, 정답을 맞히는 능력이 향상되었습니다. 정확한 정답에 대한 AUC 점수는 약 0.30에서 0.33으로 상승했고, 더 상세한 채점 지표는 0.36에서 0.40으로 개선되었습니다. 이러한 개선은 통계적으로 유의미했으며, 이는 우연에 의한 것이 아님을 의미합니다. 흥미롭게도 기계가 답변을 생성하는 데 걸린 시간은 두 경우 모두 약 0.02초로 거의 동일하게 유지되었습니다. 이는 추가된 정보가 기계를 느리게 만들지는 않았지만, 더 자주 정답을 찾도록 도왔음을 시사합니다. 연구진은 초기 압축 백분율만을 보고하는 것은 시스템의 실제 작동 조건을 숨기는 것이라고 결론지었습니다.

연구는 단순히 단어 수를 세는 것이 시스템의 실패를 예측하는 데 충분한지를 탐구했습니다. 그들은 단어 수를 아는 것이 성능 저하를 예측할 수 있는지 확인하기 위해 모델을 구축했습니다. 수천 개의 사례를 포함한 광범한 테스트에서, 기계가 실제로 본 단어 수는 초기 압축 백분율보다 실패를 훨씬 더 잘 예측하는 지표였습니다. 그러나 연구진이 특정 데이터셋과 압축 방법을 통제했을 때, 이 단어 수의 이점은 훨씬 작아졌습니다. 그것은 예측력을 약간 향상시켰지만, 완벽한 수정구슬은 아니었습니다. 연구진은 이 단어 수가 엔지니어들이 기계가 실제로 무엇을 가지고 작업하고 있는지 이해하도록 돕는 투명성을 위한 유용한 도구이지, 오류를 해결하기 위한 마법 같은 해결책은 아니라고 강조했습니다.

아마도 가장 중요한 발견은 텍스트의 길이가 유일하게 중요한 요소인지를 테스트하기 위해 설계된 부수적인 실험에서 나왔습니다. 연구진은 자신들의 단순한 절단 방식과, 문서의 위치에 상관없이 가장 관련성이 높은 문장을 선택하는 스마트한 접근 방식(검색 알고리즘 사용)을 비교했습니다. 그들은 두 방식이 동일한 양의 텍스트를 유지하도록 맞추었습니다. 결과는 명확했습니다. 단순히 앞부분의 문장들을 유지하는 방식보다, 올바른 문장들을 선택하는 방식이 훨씬 더 뛰어난 성능을 보였습니다. 이는 두 방식 모두 동일한 단어 수를 가졌음에도 불구하고 말입니다. 이는 단어 수를 세는 것이 시스템의 한계를 이해하는 데 중요하지만, 콘텐츠의 품질이 최종 답변에는 훨씬 더 중요하다는 것을 입증했습니다. 틀린 정보가 담긴 긴 텍스트보다, 올바른 사실이 담긴 짧은 텍스트가 더 낫습니다.

궁극적으로 이 연구는 인공지능 분야에서 시스템을 측정하는 방식이 시스템 그 자체만큼이나 중요하다는 점을 상기시켜 줍니다. 연구진은 새로운 텍스트 압축 방식을 발명하거나 새로운 답변 모델을 만든 것이 아닙니다. 대신, 그들은 기존 도구를 바라보는 더 명확한 방법을 제공했습니다. 보존된 텍스트와 실제로 읽힌 텍스트를 구분함으로써, 그들은 기존의 표준 지표들이 때때로 시스템의 실제 상태를 가릴 수 있음을 보여주었습니다. 그들의 연구 결과는 연구자들이 보존된 텍스트의 양과 기계가 실제로 받는 양을 모두 보고해야 함을 시사합니다. 이러한 이중 보고는 시스템이 왜 잘 작동하거나 제대로 작동하지 않는지를 이해하기 쉽게 만들어, 이 강력한 도구들이 실제로 어떻게 작동하는지에 대한 더 정직하고 투명한 평가를 가능하게 할 것입니다.