SIGMA: SHAP-Guided Implicit-Trajectory Generation for Metadata-Free LLM-Based AutoFE

데이터 과학의 세계에서 컴퓨터는 대출 연체 예측부터 질병 진단에 이르기까지 문제를 해결하기 위해 숫자로 가득 찬 방대한 스프레드시트를 전달받곤 합니다. 하지만 이러한 가공되지 않은 숫자 그 자체만으로는 충분하지 않은 경우가 많습니다. 최상의 결과를 얻기 위해 전문가들은 '자동 피처 엔지니어링(automated feature engineering)'이라 불리는 과정을 수행해야 하며, 이는 기존의 데이터를 결합하거나 변형하여 더 똑똑한 새로운 데이터 열을 만드는 작업을 포함합니다. 마치 요리사가 단순히 찬장에 있는 재료를 사용하는 데 그치지 않고, 요리의 맛을 더 좋게 만들기 위해 새로운 풍미의 조합을 발명하는 것과 같습니다. 수십 년 동안 컴퓨터는 숫자를 무작식로 섞고 조합하며 이 작업을 수행하려 노력해 왔지만, 이러한 방식은 느리고 종종 혼란스러운 결과를 초래했습니다. 최근 과학자들은 추론하고 맥락으로부터 학습할 수 있는 강력한 인공지능 시스템인 거대 언어 모델(LLM)을 이 창의적인 요리사 역할을 하도록 사용하기 시작했습니다. 이러한 AI 시스템은 더 나은 예측을 이끌어낼 핵심 열쇠로 여겨졌으나, 한 가지 큰 장애물에 직면했습니다. 바로 제대로 작동하기 위해서는 모든 숫자가 무엇을 의미하는지에 대한 상세한 설명이 필요하다는 점이었습니다. 현실 세계에서는 개인정보 보호 규칙 때문에, 혹은 데이터가 인간의 언어를 구사하지 못하는 센서로부터 오기 때문에 이러한 설명이 누락되는 경우가 흔합니다. 더욱이, 이 AI 시스템들이 데이터를 개선하기 위해 과거의 시도로부터 학습하려고 할 때, 그 기록 목록이 너무 길어져 컴퓨터의 메모리를 압도하게 되었고, 결국 시스템이 동일한 실수를 반복하는 루프에 빠지게 만들었습니다.

요코하마 국립대학교의 연구진은 이러한 문제들을 해결하기 위해, AI가 숫자가 무엇을 나타내는지에 대한 설명 없이도 더 나은 데이터를 설계할 수 있게 해주는 'SIGMA'라는 새로운 방법을 개발했습니다. SIGMA는 데이터를 이해하기 위해 인간의 언어에 의존하는 대신, 각 정보가 최종 예측에 얼마나 중요한지를 측정하는 'SHAP'이라는 수학적 도구를 사용합니다. 이 도구는 가장 중요한 숫자는 강조하고 덜 유용한 숫자는 흐리게 만드는 일종의 스포트라이트와 같아서, AI가 숫자의 이름이 무엇인지 알 필요 없이 명확한 방향을 잡을 수 있게 해줍니다. 연구진은 이후 이 숫자들을 가장 중요한 것, 중간 정도 유용한 것, 그리고 약한 것으로 세 가지 범주로 분류했습니다. 그리고 AI에게 이 그룹 내의 숫자들을 섞거나, 강한 숫자들과 약한 숫자들을 연결하여 새로운 데이터 열을 만들도록 요청함으로써, 시스템이 가장 중요한 곳에 창의성을 집중하도록 효과적으로 가르쳤습니다.

이 연구의 가장 중요한 혁신은 연구진이 '노출된 피처 암시적 궤적(exposed-feature implicit trajectory)'이라고 부르는 기술입니다. 이전의 시도들에서 AI 시스템은 중복을 피하기 위해 자신이 생성했던 모든 피처의 기록을 글로 작성하여 보관했는데, 이 목록은 금방 컴퓨터 메모리에 담을 수 없을 만큼 길어졌습니다. SIGMA는 다른 접근 방식을 취합니다. 기록을 글로 남기는 대신, 이미 사용된 피처들을 짧은 시간 동안 AI의 시야에서 숨겨버리는 것입니다. 만약 AI가 현재 숨겨진 숫자를 사용하여 피처를 만들려고 하면, 시스템은 다른 곳을 찾아보도록 강제됩니다. 이러한 '숨기기와 드러내기'라는 단순한 행위는 소리 없는 가이드 역할을 하여, 긴 이력 로그를 저장하지 않고도 AI가 같은 실수를 반복하지 않도록 유도합니다. 이를 통해 시스템은 메모리 제한에 걸려 쩔쩔매거나 쓸모없는 피처를 반복해서 생성하는 순환에 빠지지 않고도, 훨씬 더 오랜 기간 동안 정교하게 작업을 수행할 수 있습니다.

이 새로운 접근 방식의 결과는 놀랍습니다. 16개의 서로 다른 실제 데이터셋을 대상으로 테스트했을 때, SIGMA는 상세한 설명에 의존하는 기존의 최고 수준 AI 방법들과 대등한 성능을 보여주었으며, 이는 시스템이 효과적으로 작동하기 위해 인간의 라벨이 필요하지 않음을 입증했습니다. 더 중요한 것은, SIGMA가 반복 문제를 해결했다는 점입니다. 이전 시스템에서는 생성된 피처의 거의 37%가 중복되어 귀중한 컴퓨팅 자원을 낭비했습니다. 하지만 사용된 피처를 숨기는 SIGMA의 방식 덕분에 중복률은 7% 미만으로 급격히 떨어졌습니다. 또한 이 시스템은 믿기 힘들 정도로 효율적이었습니다. 전통적인 방식들이 몇 개의 좋은 피처를 찾기 위해 수백 개의 새로운 피처를 생성하는 경우가 많은 반면, SIGMA는 데이터셋당 평균 단 5개의 새로운 피처만을 사용하여 최상위 수준의 성능을 달성했습니다. 이는 시스템이 가장 가치 있는 개선점을 빠르게 찾아내어 나머지 데이터를 깨끗하고 관리하기 쉽게 유지함을 의미합니다.

연구진은 또한 이 방법이 AI로 이전에 도달할 수 없었던 복잡한 다층 구조의 데이터를 구축할 수 있게 한다는 것을 발견했습니다. 일부 테스트에서 시스템은 한 단계의 출력을 다음 단계의 입력으로 사용하는 방식으로 피처들을 사슬처럼 결합하여, 예측력을 크게 향상시키는 깊은 관계망을 성공적으로 만들어냈습니다. 이러한 능력 덕분에 SIGMA는 경직되고 미리 정의된 규칙에 의존하는 오래된 비(非) AI 방식들을 능가했습니다. 이 연구는 인간의 언어 대신 수학적 중요도 신호를 사용하고, '숨기기와 드러내기'라는 영리한 시스템을 활용함으로써, 인공지능이 인간의 설명이 없는 상황에서도 데이터 분석을 개선하는 데 있어 더욱 강력하고 실용적인 도구가 될 수 있음을 확인시켜 주었습니다.