Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
본 논문은 표준적인 시퀀스 구성 정책이 어시스턴트 타겟과 그 근거가 되는 도구 관측값 사이의 연결을 끊어버리는 도구 증강 LLM 학습의 결정적인 결함을 식별 및 정량화하고, 토큰 중복을 줄이면서도 감독 범위와 문맥 무결성을 유의미하게 개선하는 재구성 전략을 제안한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대적인 인공지능 어시스턴트는 문제를 해결하기 위해 외부 도구에 손을 뻗을 수 있는 에이전트로 점점 더 설계되고 있습니다. 사용자가 질문을 하면, 모델은 데이터베이스를 호출하거나, 날씨 서비스를 확인하거나, 주문 상태를 조회하기로 결정할 수 있습니다. 모델에게 이 방법을 가르치기 위해, 연구자들은 이러한 상호작용의 수천 가지 사례를 제공합니다. 이 사례들은 단순히 질문과 답변만 있는 것이 아니라, 사용자의 요청, 도구를 사용하기로 한 모델의 결정, 그 도구로부터 반환된 가공되지 않은 데이터, 그리고 마지막으로 그 데이터를 사용하여 사용자의 질문에 답하는 모델의 응답을 포함하는 복잡한 대화들입니다. 학습의 목표는 모델에게 전체 이야기를 보여줌으로써, 도구의 출력값과 최종 답변 사이의 점들을 연결하는 법을 배우게 하는 것입니다.
하지만 이 과정에는 대화가 기록된 후 모델이 실제로 그것으로부터 학습하기 전 사이에 발생하는 숨겨진 단계가 있습니다. 이 긴 이야기들을 컴퓨터 메모리에 맞추기 위해, 학습 소프트웨어는 이들을 조각내거나, 재배열하거나, 특정 크기 제한에 맞게 자릅니다. 이 논문은 그 조각내고 재배열하는 과정이 잘못되었을 때 어떤 일이 발생하는지를 조사합니다. 연구자들은 단순하지만 결정적인 질문을 던졌습니다. 컴퓨터가 학습 슬롯에 맞추기 위해 대화를 자를 때, 최종 답변은 남겨두면서도 그 답변의 근거가 된 도구 데이터를 실수로 버리게 되는 경우가 있는가? 만약 모델이 답변에 대해 채점을 받고 있는데 그 답변을 뒷받침하는 증거가 모델의 시야에서 사라진 상태라면, 모델은 논리적인 과정을 배우는 것이 아니라 마술을 배우라는 요구를 받는 셈입니다.
연구자들은 이러한 시스템을 훈련하는 데 흔히 사용되는 세 가지 대규모 도구 사용 대화 모음을 조사했습니다. 그들은 원래의 대화 속 모든 텍스트 조각을 조각내고 재배열하는 과정을 통해 추적하는 추적 시스템을 구축했습니다. 그들은 모델이 특정 주문 번호나 에러 코드와 같이 도구로부터 반환된 값으로부터 학습해야 하는 순간들을 구체적으로 살펴보고, 그 값이 모델이 답변을 작성할 때 여전히 보이는 상태인지 확인했습니다. 그들은 매우 짧은 것부터 꽤 긴 것에 이르기까지 다양한 크기의 학습 청크(chunk)에 걸쳐 이를 테스트했으며, 소프트웨어가 텍와를 자르고 채우는 방식에 대한 여러 가지 다른 방법들을 사용했습니다.
결과는 현재 일부 훈련 데이터가 준비되는 방식에 심각한 문제가 있음을 드러냈습니다. 소프트웨어가 긴 대화를 고정된 크기에 맞추기 위해 더 작은 조각으로 나누는 방식을 사용할 때, 답변과 그 답변이 의존하는 도구 데이터를 빈번하게 분리해 버립니다. 연구된 데이터셋 중 하나에서는 보존된 답변 중 거의 40%가 그 답변을 정당화하는 도구 관찰값 없이 모델에게 교육되고 있었습니다. 다른 데이터셋에서는 약 20%의 답변이 이와 유사하게 고립되어 있었습니다. 이는 모델이 자신이 결코 알 수 없는 텍스트를 생성하도록 보상을 받고 있음을 의미하는데, 왜냐하면 그에게 필요한 증거가 잘려 나가서 모델이 그 순간에 볼 수 없는 훈련 시퀀스의 다른 부분에 놓여 있기 때문입니다.
또한 연구는 데이터를 어떻게 자르느냐에 따라 모델이 실제로 배우는 것이 달라진다는 것을 발견했습니다. 하나의 덩어리에 가능한 많은 사례를 넣으려고 노력하면서도 (사례를) 분리하지 않는 일반적인 패킹 방식은 이러한 분리 문제를 완전히 피합니다. 그러나 이 방식은 너무 엄격하여 대부분의 훈련 데이터를 버리고 아주 적은 부분만을 남깁니다. 연구자들은 트레이드오프(trade-off)가 존재함을 보여주었습니다. 즉, 거의 모든 데이터를 유지하는 방식은 도구와 답변 사이의 연결을 끊어버리는 반면, 연결을 온전하게 유지하는 방식은 유용하기에는 너무 많은 데이터를 폐기한다는 것입니다.
이를 해결하기 위해 연구자들은 훈련 사례를 재구성하는 새로운 방법을 제안했습니다. 텍스트를 맹목적으로 자르는 대신, 도구 데이터와 답변이 항상 동일한 뷰잉 윈도우(viewing window) 안에 머물 수 있도록 동일한 대화의 관련 부분들을 그룹화할 것을 제 제안했습니다. 그들은 이러한 조각들을 신중하게 그룹화함으로써, 더 적은 컴퓨터 메모리를 사용하면서도 동일한 수의 올바른 답변을 유지하고 수천 개의 중복된 조각들을 제거할 수 있음을 발견했습니다. 또한 일부 데이터셋의 경우, 도구 사용법을 설명하는 규칙 목록이 너무 많은 공간을 차지하여 실제 대화를 창 밖으로 밀어낸다는 사실도 발견했습니다. 단일 호출에 필요한 특정 부분만을 보여주도록 이 규칙 목록들을 단순화함으로써, 그들은 훨씬 더 많은 유용한 사례들을 훈련 과정에 포함시킬 수 있었습니다.
마지막으로, 연구자들은 많은 개발자가 데이터를 준비할 때 사용하는 소프트웨어 코드를 점검했고, 널리 사용되는 버전에서 숨겨진 오류를 발견했습니다. 이 오류는 소프트웨어가 대규모 배치 데이터를 처리할 때 실수로 텍스트의 일부를 반복하거나 단어의 순서를 뒤섞어, 원래의 대화와 전혀 일치하지 않는 정보의 흐름을 만들어내는 결과를 초래했습니다. 이 발견은 문제가 단지 데이터 자체에 있는 것이 아니라, 그것을 준비하는 도구에 있다는 점을 강조합니다. 논문은 데이터가 구성되는 방식이 데이터 그 자체만큼이나 중요하다고 결론짓습니다. 만약 준비 과정에서 도구의 출력과 모델의 답변 사이의 연결이 끊어진다면, 모델이 아무리 많은 데이터를 본다 하더라도 도구를 올바르게 사용하는 법을 배울 수 없습니다. 연구자들은 향-후의 훈련 시스템이 모델이 학습할 때 답변에 필요한 문맥이 실제로 존재하는지를 반드시 검증해야 한다고 촉구합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.