Learning What to Fail On: Failure-Mode Contextual Bandits for Adversarial Data Curation

인공지능의 세계에서 컴퓨터는 인간의 언어를 읽고 이해하는 데 놀라울 정도로 능숙해지고 있습니다. 질문에 답하고, 이야기를 요약하며, 심지어 사실 관계가 참인지 확인하기도 합니다. 그러나 이러한 시스템들은 종종 숨겨진 약점을 가지고 있는데, 바로 취약하다는 점입니다. 마치 강아지를 인식할 때 오직 털 색깔만 보고 배우는 아이처럼, AI는 실제 의미를 이해하기보다 특정 단어를 포착함으로써 문제를 해결하는 법을 배울 수 있습니다. 만약 그 단어를 바꾸거나 문장을 약간만 비틀어도, 의미는 변하지 않았음에도 불구하고 컴퓨터는 완전히 실패할 수 있습니다. 이러한 취약성은 신뢰할 수 있는 기술을 구축하는 데 있어 주요한 장애물입니다. 연구자들은 더 많은 사례를 컴퓨터에 입력함으로써 이를 해결하려고 오랫동안 시도해 왔지만, 단순히 데이터를 추가하는 것은 종종 동일한 나쁜 습관을 강화할 뿐이었습니다. 진짜 과제는 단순히 더 많은 데이터를 찾는 것이 아니라, 컴퓨터가 더 깊이 생각하도록 가르칠 수 있는 구체적인 종류의 실수를 찾아내는 것입니다.

벤 구리온 대학교(Ben Gurion University)의 연구진은 이러한 실패에 전적으로 집중함으로써 시스템을 가르치는 새로운 방법을 개발했습니다. 무작위로 수천 개의 사례를 생성하고 그중 유용한 것이 있기를 바라는 대신, 그들의 방법은 무엇에서 실패할지를 학습하는 스마트 필터처럼 작동합니다. 그들은 먼저 컴퓨터 모델을 속기 위해 설계된 어려운 문장들을 생성하는 시스템을 만들었습니다. 모델이 이 문장들을 틀렸을 때, 시스템은 단순히 그것들을 버리거나 모두 보관하지 않습니다. 대신, 부정(negation)을 혼동하거나, 이름을 뒤섞거나, 논리적 모순을 놓치는 것과 같이 오류를 카테カテゴリ(범주)로 분류합니다. 그런 다음 시스템은 어떤 실수 범주가 공부하기에 가장 가치 있는지 결정하기 위해 학습 전략을 사용합니다. 시스템은 이러한 실수들을 선택하는 과정을, 플레이어의 점수를 가장 많이 높일 수 있는 수를 고르는 게임처럼 취급하며, 새로운 것을 배우는 필요성과 이미 알고 있는 것을 잊어버릴 위험 사이의 균형을 맞춥니다.

과정은 이미 언어를 이해하도록 훈련된 컴퓨터 모델로부터 시작됩니다. 연구진은 강력한 언어 생성기에게 실제 사례와 유사하지만 까다롭도록 설계된 새로운 문장들을 만들라고 요청합니다. 이 새로운 문장들은 모델을 대상으로 테스트됩니다. 만약 모델이 이를 맞히면, 그것들은 폐기됩니다. 만약 모델이 이를 틀리면, 시스템은 그 실수가 실제 오류인지 아니면 단순한 글리치(glitch)인지 확인하기 위해 다른 AI 심판진의 검토를 거칩니다. 실수가 확인되면, 이는 특정 유형의 실패로 분류됩니다. 예를 들어, 한 그룹은 모델이 "예"와 "아니오"를 혼동한 모든 오류를 포함할 수 있고, 다른 그룹은 두 사람이 서로 다르다는 점을 인지하지 못한 오류를 포함할 수 있습니다.

핵심 혁신은 시스템이 다음에 어떤 그룹을 공부할지 선택하는 방식에 있습니다. 시스템은 무작위로 선택하지도, 고정된 규칙을 사용하지도 않습니다. 대신, 각 실수 그룹의 특성(예: 그룹 내 오류의 수, 모델이 얼마나 혼란스러워했는지, 과거에 유사한 오류를 공부했을 때 모델이 얼마나 개선되었는지 등)을 관찰하는 학습 정책을 사용합니다. 그런 다음 시스템은 모델을 재학습시키기 위해 이 그룹들을 혼합하여 선택합니다. 재학습 후에는 모델이 쉬운 사례들에 대해 나빠지지 않으면서 실제로 이러한 어려운 사례들을 더 잘 다루게 되었는지 확인합니다. 이 피드백 루프를 통해 시스템은 어떤 유형의 실패를 수정하는 것이 가장 유용한지 학습할 수 있습니다. 이는 데이터 큐레이터(데이터를 선택하는 시스템의 부분)가 학습자가 되어, 가장 영향력 있는 교훈을 찾기 위해 끊임없이 전략을 조정하는 자기 개선형 순환 구조입니다.

연구진이 이 접근 방식을 표준 언어 이해 작업에 테스트했을 때, 결과는 상당했습니다. 그들은 SNLI라고 불리는 테스트에서 약 88%의 점수를 기록하며 이미 꽤 우수한 모델로 시작했습니다. 특정 실패 사례를 생성하고 정교하게 선택하는 그들의 방법을 적용한 후, 모델의 점수는 92% 이상으로 상승했습니다. 다른 어려운 테스트에서는 개선 폭이 훨씬 더 극적이어서, 한 벤치마크는 약 54%에서 거의 72%까지 뛰어올랐습니다. 이러한 성과는 인간 전문가가 새로운 사례를 작성하거나 새로운 데이터를 라벨링하지 않고도 달성되었습니다. 시스템이 스스로 사례를 생성하고, 자동으로 검증하며, 어떤 것을 사용할지 학습했습니다. 연구진은 또한 이 방법이 사실 검증과 같은 다양한 유형의 작업에서도 작동함을 보여주었으며, 여기에서 대규모 모델이 82% 이상의 정확도에 도달하도록 도왔습니다.

이 연구는 단순히 방대한 양의 합성 데이터를 생성하는 것이 AI를 개선하는 최선의 방법이라는 생각에 명시적으로 반대합니다. 그들은 강력한 컴퓨터가 생성한 무작위 데이터라 할지라도, 너무 쉽거나 무관한 사례들이 포함되어 학습 과정을 희석시킨다는 것을 발견했습니다. 그들의 방법은 품질이 양보다 더 중요하다는 것을 증명합니다. 모델이 실패하는 구체적인 방식에 집중하고 그러한 실패를 우선시하는 법을 배움으로써, 시스템은 더 견고해집니다. 연구진은 또한 이 접근 방식이 모델이 이미 알고 있던 것을 잊어버리는 현상(어려운 새 데이터를 훈련할 때 발생하는 흔한 문제)을 방지한다는 것을 입증했습니다. 그들은 학습 과정 중에 새로운 어려운 사례들을 기존의 쉬운 사례들과 세심하게 혼합함으로써, 새로운 기술을 배우는 것과 기존 지식을 유지하는 것 사이의 균형을 확보했습니다.

이 작업은 인공지능을 더욱 신뢰할 수 있게 만드는 새로운 경로를 제시합니다. 인간 전문가가 모든 어려운 사례를 수동으로 큐레이팅하도록 의존하는 대신, 시스템은 스스로 자신의 약점을 식별하고 이를 극복하기 위해 필요한 구체적인 교훈을 찾아낼 수 있습니다. 연구진은 이 적응형 접근 방식이 고정된 규칙을 사용하여 데이터를 선택하는 정적인 방법보다 더 효과적이라는 것을 발견했습니다. 비록 이 연구가 특정 언어 작업에 대해 수행되었지만, 실패 모드로부터 학습한다는 근본적인 원리는 기계가 견고해져야 하는 많은 다른 분야에도 적용될 수 있습니다. 이 결과는 데이터 선택 과정 자체가 학습 에이전트가 되게 함으로써, 우리가 단순히 더 똑똑할 뿐만 아니라 더 적응력이 뛰어나고 현재의 유용성을 제한하는 오류에 덜 취약한 시스템을 구축할 수 있음을 시사합니다.