Reading Why: Born-Measured Attention with Exact Word Evidence on Light and Qubits
이 논문은 표준적인 어텐션과 비선형성을 양자 영감을 받은 연산으로 대체하여 예측에 대한 정확하고 오류 없는 단어 수준의 기여도를 제공하는 "본-메저드(Born-Measured)" 트랜스포머를 소개하며, 이는 e-SNLI에서 경쟁력 있는 정확도를 달성하는 동시에 광학 회로와 23-큐비트 양자 장치 모두로의 성공적인 컴파일을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
컴퓨터 프로그램이 문장을 읽고 그 의미를 결정할 때, 우리는 종라 왜 그런 선택을 했는지 추측해야만 합니다. 우리는 프로그램이 단어들의 가중치를 매기기 위해 사용하는 숫자들을 살펴볼 수 있지만, 그 숫자들은 단지 추정치일 뿐이며 어떤 단어가 최종 답변을 유도했는지를 정확히 알려주지는 않습니다. 이는 인공지능에서 문제가 되는데, 특히 우리가 기계의 결정을 신뢰해야 할 때 그러합니다. 과학자들은 오랫동안 단순히 정확하기만 한 것이 아니라, 화면 위의 단어들로부터 기계가 도달하는 결론까지의 경로를 정확히 볼 수 있는 투명한 모델을 구축하려고 노력해 왔습니다. 문제는 가장 흔한 유형의 언어 모델이 선택을 부드럽게 만드는 수학적 기교에 의존하며, 이 기교가 단일 단어의 영향력을 추적하는 것을 매우 어렵게 만든다는 점입니다. 만약 우리가 왜 기계가 어떤 이야기가 참인지 거짓인지 판단하는지 알고 싶다면, 모호한 근사치의 구름 속에서 맥락을 놓치지 않고 모든 단어의 기여도를 측정할 수 있는 방법이 필요합니다.
한 연구팀은 기계가 생각하는 방식을 바꿈으로써 이 문제를 해결하는 새로운 종류의 언로 모델을 구축했습니다. 추론을 숨기는 표준적인 수학적 기교를 사용하는 대신, 그들은 모든 사고 과정이 빛이나 양자 입자의 직접적인 측정값이 되도록 설계된 시스템을 구성했습니다. 이 새로운 설계에서 기계는 단어가 얼마나 중요한지 추측하는 것이 아니라, 그것을 측정합니다. 연구진은 일반적인 부드러운 처리 단계를 물리 법칙인 '신호의 강도를 제곱하는 규칙'으로 대체했는데, 이는 물리학에서 한 세기 동안 알려져 온 규칙입니다. 이렇게 함으로써, 그들은 최종 답변이 모든 단어의 기여도를 정밀하게 합산한 결과가 되는 모델을 만들었습니다. 연구진이 이 시스템을 한 문장이 다른 문장으로부터 도출되는지를 묻는 과업에 테스트했을 때, 이 기계는 기존의 표준 모델들과 대등한 성능을 보였지만 결정적인 차이점이 있었습니다. 즉, 기계는 어떤 단어들이 결과를 결정했는지 정확히 말할 수 있었고, 그 설명들은 최종 점수와 완벽하게 일치했습니다.
연구진은 거의 만 쌍의 문장 쌍으로 구성된 데이터셋을 통해 자신들의 창작물을 테스트했는데, 여기에는 인간 주석가들이 문장이 참, 거짓 또는 무관한지 사이의 차이를 만드는 특정 단어들을 이미 표시해 두었습니다. 그들은 이 새로운 모델을 일반적인 부드러운 기교를 사용하는 표준 모델과 비교했습니다. 두 모델 모두 약 77퍼센트의 확률로 정답을 맞혔으며, 이는 새로운 설계가 명확성을 위해 정확성을 희생하지 않았음을 보여줍니다. 그러나 연구진이 모델에게 설명을 요구했을 때 그 차이는 극명했습니다. 표준 모델에서는 가장 중요하다고 주장하는 단어들을 제거하더라도 항상 답이 바뀌지는 않았습니다. 반면, 새로운 모델에서는 가장 중요하다고 지목된 단어를 제거했을 때 답이 바뀌는 경우가 45퍼센트에 달했는데, 이는 설명이 실제로 결정을 주도하고 있다는 훨씬 강력한 신호였습니다. 더욱이, 새로운 모델이 가리킨 단어들은 표준 모델보다 인간이 강조한 단어들과 더 밀접하게 일치했습니다.
이 작업이 독특한 이유는 설명이 나중에 추가된 사후 요소가 아니라, 기계의 구조 자체에 내장되어 있기 때문입니다. 연구진은 답을 기술하는 수학이 변수가 단어 신호인 형태의 방정식인 다항식이 되도록 모델을 설계했습니다. 이 덕분에 그들은 계산의 작은 조각들을 모두 더함으로써 각 단어의 정확한 기여도를 계산할 수 있으며, 이 과정에는 오류의 여지가 없습니다. 그들은 양자 컴퓨터(서브아토믹 입자의 특이한 성질을 이용해 정보를 처리하는 기계)를 사용하여 모델을 검증했습니다. 그들은 모델 전체를 양자 컴퓨터에서 실행하지는 않았지만(현재 기술로는 너무 어렵기 때문입니다), 단어들이 서로 어떻게 연관되는지를 측정하는 부분들을 실행했습니다. 양자 컴퓨터는 완벽한 수학적 모델과 동일한 답을 내놓았으며, 핵심 단어를 제거했을 때 양자 기계는 완벽한 모델이 그러했듯 생각을 바꾸었습니다. 이는 이 설계가 이론뿐만 아니라 실제 하드웨어에서도 작동함을 증명했습니다.
연구진은 또한 이 동일한 숫자 세트가 빛을 이용해 작동하는 기계를 만드는 데 사용될 수 있음을 보여주었습니다. 그들은 모델의 가중치를 거울과 레이저로 구축할 수 있는 설계에 매핑했는데, 여기서 단어는 빛의 줄기로 표현되며 단어 사이의 관계는 빛의 파동이 서로 간섭하는 방식으로 측정됩니다. 비록 이 광학 버전을 컴퓨터로 시뮬레이션하기는 했지만, 수학적으로는 양자 버전과 정확히 똑같이 작동할 것임을 보여주었습니다. 이러한 이중적 가능성은 이 모델이 특정 하드웨어 유형에 묶여 있지 않음을 시사합니다. 즉, 빛, 양자 입자, 또는 고전적 컴퓨터에서 실행될 수 있는 설계이며, 언제나 동일하고 명확한 설명을 유지한다는 것입니다.
가장 놀라운 발견 중 중 하나는, 기계가 어떤 단어에 가장 많은 주의를 기울이는지 확인하는 기존의 방식이 오해의 소지가 있다는 점이었습니다. 새로운 모델에서는 가장 높은 주의(attention)를 받은 단어가 반드시 답을 설명하는 데 있어 증거로서의 단어만큼 기여하는 것은 아니었습니다. 실제로, 가장 높은 주의 점수를 받은 단어를 제거했을 때의 변화는 가장 높은 증거 점수를 받은 단어를 제거했을 때보다 적었습니다. 이는 모델이 어떻게 작동하는지 설명하기 위해 자주 사용되는 '주의 가중치'가 인간의 추론처럼 보일 수는 있지만, 실제로는 결정을 주도하지 못할 수도 있음을 시사합니다. 반면, 새로운 모델의 '증거'는 답변에 대한 진정한 회계였습니다.
이 연구는 인공지능의 모든 문제를 해결했다고 주장하는 것이 아니며, 연구진은 현재 실험의 한계를 명시하고 있습니다. 양자 컴퓨터 테스트는 단 두 개의 짧은 문장에 대해서만 수행되었고, 광학 버전은 구축되지 않고 시뮬레이션만 되었습니다. 또한 이 시스템은 양자 컴퓨터에서 작동하기 위해 많은 측정을 필요로 하며, 이는 현재로서는 느리고 비용이 많이 듭니다. 그러나 이 연구는 정확하면서도 완벽하게 설명 가능한 언어 모델을 구축하는 것이 가능하다는 것을 입증합니다. 직접적인 물리적 측정을 통해 숨겨진 수학적 기교를 대체함으로써, 연구진은 단순히 답을 내놓는 것이 아니라 자신의 과정을 정확하고 검증 가능하며 이해할 수 있는 방식으로 보여주는 기계를 만들어냈습니다. 이는 우리가 블랙박스라서 믿는 것이 아니라, 작동 방식을 정확히 볼 수 있기 때문에 신뢰할 수 있는 인공지능을 향한 길을 열어줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.