FileGram: Grounding Agent Personalization in File-System Behavioral Traces
본 논문은 프라이버시 제약으로 인해 데이터 수집이 어려운 로컬 파일 시스템 기반 AI 에이전트의 개인화 문제를 해결하기 위해, 파일 시스템 행동 흔적을 기반으로 한 시뮬레이션 엔진, 진단 벤치마크, 그리고 메모리 아키텍처를 포함한 포괄적인 프레임워크인 'FileGram'을 제안합니다.
원저자:Shuai Liu, Shulin Tian, Kairui Hu, Yuhao Dong, Zhe Yang, Bo Li, Jingkang Yang, Chen Change Loy, Ziwei Liu
이 논문은 **"FileGram(파일그램)"**이라는 새로운 AI 시스템을 소개합니다. 쉽게 말해, **"당신의 컴퓨터 파일들을 가장 잘 아는 AI 비서"**를 만드는 방법론입니다.
기존의 AI 비서들이 "대화"만 기억했다면, FileGram은 당신이 **"파일을 어떻게 다루는지"**를 기억합니다.
이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.
1. 왜 이 연구가 필요할까요? (문제 상황)
지금까지의 AI 비서들은 마치 대화가 끊기면 기억을 잃어버리는 금붕어 같았습니다.
기존 방식: "어제 회의 내용 뭐였지?"라고 물어보면 대화 기록만 찾아줍니다. 하지만 "내 파일은 어떻게 정리하는지?", "어떤 스타일로 문서를 작성하는지?" 같은 깊은 습관은 모릅니다.
문제점: 사용자는 모두 다릅니다. 어떤 사람은 파일을 깊게 중첩된 폴더에 정리하고, 어떤 사람은 한 번에 다 지우고 다시 만듭니다. AI가 이 '개인적인 습관'을 모르면, 진정한 비서가 될 수 없습니다.
하지만: 실제 사람들의 파일 사용 기록을 모으기는 너무 어렵습니다. 사생활 (비밀) 문제도 있고, 데이터를 모으는 것 자체가 매우 복잡하기 때문입니다.
2. FileGram 이 해결책입니다 (세 가지 핵심 도구)
연구팀은 이 문제를 해결하기 위해 세 가지 도구로 구성된 '파일그램'이라는 시스템을 만들었습니다.
① FileGramEngine: "가짜지만 진짜 같은 연습장"
비유:배우 훈련소입니다.
설명: 실제 사람의 파일을 훔칠 수 없으니, AI 를 시켜 20 가지 다른 성격 (프로필) 을 가진 가짜 사용자들을 만들어내게 했습니다.
A 형은 "파일 정리를 정말 꼼꼼하게 하고, 폴더를 3 단계 이상 깊게 만듭니다."
B 형은 "파일은 다 지우고, 한 번에 뚝딱 만들어냅니다."
이렇게 AI 가 가상의 작업을 하며 생성한 수만 개의 행동 기록을 만들어냈습니다. 이제 AI 는 이 '연습 데이터'로 사람을 이해하는 법을 배울 수 있습니다.
② FileGramBench: "AI 의 실력 시험지"
비유:수능 모의고사입니다.
설명: AI 가 정말로 사람의 습관을 기억하는지 테스트하는 시험지입니다.
"이 사용자가 파일을 어떻게 정리할 것 같아?"
"이 두 사용자의 행동 패턴 차이는 뭐지?"
"아까와 행동이 달라졌는데, 왜 변했을까?"
기존 AI 들은 이 시험에서 40~50 점 정도밖에 못 봤지만, FileGram 은 60 점 가까이 받아내며 압도적인 성적을 냈습니다.
③ FileGramOS: "기억을 정리하는 새로운 방식"
비유:단순 요약 vs 상세 일지의 차이입니다.
설명: 기존 AI 는 "오늘은 파일을 정리했어"라고 요약만 기억합니다. 하지만 FileGramOS 는 세부 사항을 기억합니다.
프로시저 (행동) 채널: "사용자는 파일을 3 단계 폴더에 넣는 걸 좋아해." (숫자와 패턴 기억)
시맨틱 (내용) 채널: "사용자는 보고서에 표를 많이 넣고, 격식 있는 문체를 써." (내용의 스타일 기억)
에피소드 (일화) 채널: "어제 갑자기 파일 정리를 안 하고 지우기만 했어. 뭔가 변한 게 있나?" (변화 감지)
이 세 가지를 섞어서 기억하므로, AI 는 사용자의 '성격'을 완벽하게 파악할 수 있습니다.
3. 왜 이것이 중요한가요? (결론)
이 연구는 **"AI 가 단순히 대화만 하는 게 아니라, 당신의 컴퓨터 파일 속에서 함께 일하는 '동료'가 될 수 있다"**는 것을 증명했습니다.
기존: "이 파일 어디 있지?"라고 물어보면 AI 가 찾아줍니다.
FileGram: "아, 이 파일은 당신이 보통 '2024_프로젝트' 폴더에 날짜별로 정리하죠? 거기에 넣어드릴까요?"라고 당신의 습관을 먼저 알고 제안합니다.
한 줄 요약:
FileGram은 AI 가 당신의 '대화'가 아닌 '파일 조작 습관'을 기억하게 하여, 마치 당신을 가장 잘 아는 개인 비서처럼 행동하게 만든 획기적인 기술입니다.
이제 AI 는 당신의 컴퓨터를 훑어보며 "어, 이분은 보통 파일을 이렇게 정리하시는데, 오늘 왜 저렇게 했지?"라고 궁금해하고, 다음엔 당신에게 딱 맞는 방식으로 도와줄 수 있게 된 것입니다.
1. 연구 배경 및 문제 정의 (Problem)
배경: OS 레벨 어시스턴트의 발전으로 AI 에이전트가 대화형 인터페이스를 넘어 사용자의 로컬 파일 시스템 내에서 협업하는 '동료 (Coworker)'로 진화하고 있습니다.
핵심 문제: 사용자의 워크플로우, 조직 습관, 실행 스타일은 매우 다양하므로, AI 에이전트가 장기적으로 사용자와 원활하게 협업하기 위해서는 **개인화 (Personalization)**가 필수적입니다.
현황의 한계:
데이터 부족: 엄격한 프라이버시 장벽과 멀티모달 실시간 추적 데이터 수집의 어려움으로 인해 확장 가능한 훈련 데이터와 포괄적인 평가 세트를 구축하기가 매우 어렵습니다.
평가의 부재: 기존 벤치마크는 대화 회상 (Conversational Recall) 이나 GUI 작업 성공률에 집중하며, 파일 시스템 작업에 내재된 밀집된 행동 흔적 (Behavioral Traces) 을 통한 개인화 이해를 평가하지 못합니다.
방법론적 결함: 기존 메모리 아키텍처는 주로 대화 요약 (Top-down) 에 의존하여, 파일 시스템의 원자적 행동 (Atomic Actions) 과 콘텐츠 변경 (Content Deltas) 에서 패턴을 추출하는 하향식 (Bottom-up) 구조가 부족합니다.
2. 제안 방법론 (Methodology)
저자들은 파일 시스템 행동 흔적에 기반한 에이전트 메모리 및 개인화를 위한 통합 프레임워크인 FileGram을 제안합니다. 이는 세 가지 핵심 구성 요소로 이루어져 있습니다.
A. FileGramEngine (데이터 생성 엔진)
목적: 실제적인 워크플로우를 시뮬레이션하여 확장 가능한 미세 입자의 멀티모달 행동 시퀀스를 생성합니다.
프로세스:
프로파일 설계: 6 가지 핵심 행동 차원 (소비 패턴, 생산 스타일, 조직 선호도, 반복 전략, 큐레이션, 크로스-모달 행동) 과 3 단계 (L/M/R) 를 정의하여 20 가지 다양한 사용자 프로파일을 생성합니다.
작업 설계: 32 가지 작업 (텍스트 중심 및 멀티모달) 을 정의하고, 이를 프로파일과 결합하여 640 개의 실행 궤적 (Trajectories) 을 생성합니다.
데이터 정제: LLM 의 사고 과정이나 중간 에러 로그 등 시뮬레이션 잡음을 제거하고, 원자적 행동 (파일 읽기/쓰기/이동 등) 과 콘텐츠 델타 (새 파일 스냅샷, 편집 차이) 만을 남깁니다.
B. FileGramBench (평가 벤치마크)
목적: 파일 시스템 기반 행동 흔적에 초점을 맞춘 최초의 진단용 벤치마크입니다.
구조: 4.6K 개의 QA 쌍으로 구성되며, 4 가지 트랙 (Track) 으로 나뉩니다.
이해 (Understanding): 행동 프로파일 복구 (속성 인식, 행동 지문 매칭, 프로파일 재구성).
추론 (Reasoning): 모호한 상황下的 패턴 추론 및 행동 분리 (Trace Disentanglement).
탐지 (Detection): 행동 변화 (Drift) 감지 및 이상 탐지.
멀티모달 그라운딩 (Multimodal Grounding): 렌더링된 문서 및 실제 스크린 레코딩을 통한 파일 및 시각적 근거 기반 평가.
특징: 절차적 (Procedural), 의미적 (Semantic), 일화적 (Episodic) 메모리 능력을 모두 평가합니다.
C. FileGramOS (하향식 메모리 아키텍처)
개념: 대화 요약이 아닌 원자적 행동과 콘텐츠 델타에서 직접 사용자 프로파일을 구축하는 새로운 메모리 시스템입니다.
3 단계 파이프라인:
궤적 인코딩 (Per-Trajectory Encoding): 원시 입력을 Engram(기억 단위) 으로 변환합니다.
절차적 추출: 행동 횟수, 탐색 비율 등 17 차원의 행동 지문 (Fingerprint) 생성.
의미적 파싱: 파일 메타데이터 및 편집 차이를 통해 사용자 스타일 요약.
일화적 분할: 연속된 행동을 논리적 에피소드 (예: "문서 조사" → "보고서 작성") 로 구분.
크로스-엔그램 통합 (Cross-Engram Consolidation): 생성된 Engram 을 3 개의 채널로 라우팅합니다.
절차적 채널: 행동 패턴의 통계적 집계 (평균, 분산 등) 를 통해 안정적인 특성 추출.
의미적 채널: 콘텐츠 요약 및 임베딩을 통한 스타일 및 선호도 통합.
일화적 채널: 시계열 일관성 유지 및 이상 행동 (Anomaly) 탐지 (Z-score 기반).
쿼리 적응형 검색 (Query-Adaptive Retrieval): 사용자의 질문 (예: "파일 조직 선호도") 에 따라 세 채널에서 관련 증거를 동적으로 검색하여 답변을 생성합니다.
3. 주요 결과 (Results)
성능 비교: FileGramBench 에서 FileGramOS 는 **59.6%**의 정확도를 기록하여, 가장 강력한 기존 메모리 시스템 (EverMemOS, 49.9%) 보다 크게 우위를 점했습니다.
기존 방법들 (Mem0, Zep 등) 은 48~50% 수준에 머무르며, 멀티모달 방법은 44.7% 로 더 낮은 성능을 보였습니다.
성공 요인:
하향식 구조의 우위: 초기에 궤적을 요약 (Narrative Summarization) 하는 방식은 행동의 미세한 차이 (디렉토리 깊이, 편집 정밀도 등) 를 잃어버리게 하지만, FileGramOS 는 인코딩 시 분포 통계를 보존하고 쿼리 시에야 추상화를 수행하여 정확한 개인화를 달성했습니다.
절차적 신호의 중요성: 행동 패턴 이해 (Track 2) 와 이상 탐지 (Track 3) 에서는 절차적 채널 (Procedural Channel) 이 결정적인 역할을 했습니다.
한계점:
시뮬레이션 vs 현실: 실제 인간 스크린 레코딩 (Real-World) 환경으로 전환 시 모든 방법의 정확도가 급격히 떨어졌습니다 (단 digit 수준). 이는 구조화된 로그와 실제 비디오 기반 행동 이해 사이의 큰 격차 (Sim-to-Real Gap) 를 보여줍니다.
변화 원인 규명: 시스템이 행동 변화를 탐지하는 데는 어느 정도 성공하지만, 어떤 차원에서 어떤 방향으로 변화했는지 정확히 설명 (Shift Attribution) 하는 데는 여전히 어려움이 있습니다.
4. 핵심 기여 (Key Contributions)
FileGramEngine: 프라이버시 문제를 우회하면서도 현실적인 사용자 행동 패턴을 시뮬레이션할 수 있는 확장 가능한 데이터 생성 엔진을 개발했습니다.
FileGramBench: 파일 시스템 행동 흔적 기반의 개인화 메모리 평가를 위한 최초의 포괄적인 벤치마크를 제시했습니다.
FileGramOS: 대화 요약에 의존하지 않고, 원자적 파일 시스템 행동과 콘텐츠 변경을 직접 인코딩하여 3 채널 (절차적, 의미적, 일화적) 메모리를 구축하는 새로운 아키텍처를 제안했습니다.
개방형 오픈소스: 프레임워크, 데이터, 벤치마크를 공개하여 향후 개인화된 메모리 중심 AI 동료 연구의 기반을 마련했습니다.
5. 의의 및 결론 (Significance)
이 논문은 AI 에이전트가 단순한 명령 수행자를 넘어 사용자의 파일 시스템 내에서 진정으로 '개인화된 동료'가 되기 위해 필요한 **행동 기반 개인화 (Behavioral Personalization)**의 중요성을 강조합니다.
기존의 대화 중심 접근법의 한계를 지적하고, **파일 시스템의 원자적 행동 (Atomic Actions)**과 **콘텐츠 변화 (Content Deltas)**가 사용자의 고유한 성향을 파악하는 더 강력한 신호임을 증명했습니다. 특히, 하향식 (Bottom-up) 메모리 구조가 복잡한 사용자 워크플로우를 이해하고 적응하는 데 필수적임을 실증했습니다.
비록 현재는 시뮬레이션 데이터와 실제 환경 간의 격차가 존재하지만, FileGram 프레임워크는 향후 실제 OS 환경에서 작동하는 지능적이고 적응적인 AI 에이전트 개발을 위한 중요한 이정표가 될 것입니다.