우리의 전력망을 가동하는 거대한 변압기나 데이터 센터의 냉각 시스템처럼, 거대한 기계들이 인간 전문가 몇 명만이 이해할 수 있는 언어로 말하는 세상을 상상해 보십시오. 이 기계들은 단순히 고장 나는 것이 아니라, 온도 급상승, 오일 속의 가스 기포, 전기적 진동이라는 혼란스러운 신호를 통해 경고를 속삭입니다. 수십 년 동안 이 기계들을 안전하게 유지하는 것은 센서, 수리 기록, 물리학 교과서에서 단서를 수동으로 찾아내야 하는 희귀하고 과로한 전문가들이 수행하는 고도의 집중력을 요하는 "탐정 놀이"였습니다.

이제 새로운 세대의 "AI 에이전트"가 등장했습니다. 이들을 팔이 달린 로봇이 아니라, 기계의 속삭임을 읽고, 무엇이 잘못되었는지 추론하며, 심지어 수리 팀을 호출할 수도 있는 매우 똑똑한 디지털 비서라고 생각하십시오. 하지만 여기에는 함정이 있습니다. 이 AI 비서들이 유능한 탐정이 되도록 가르치려면, 그들에게 "연습 시험"을 제공해야 합니다. 현실 세계에서 이러한 시험지를 만드는 것은 악몽과 같습니다. 컴퓨터에게 단순히 "고장 난 변압기를 발명해 봐"라고 요청할 수는 없습니다. 왜냐하면 컴퓨터는 물로 작동하거나 열역학 법칙을 거스르는 방식으로 고장 나는 변압기처럼, 존재하지 않는 물리학을 만들어낼 수 있기 때문입니다. 이러한 연습 테스트를 만드는 기존 방식은 인간 전문가를 고용하여 하나씩 직접 작성하는 것이었는데, 이는 느리고 비용이 많이 드는 과정이었으며 많은 유형의 기계를 테스트하지 못하는 결과를 초래했습니다.

이 논문은 AI 에이전트를 위해 물리적으로 준수하며 현실적인 연습 시험을 자동으로 제조할 수 있는 "공장"을 구축하는 것에 관한 것입니다. 특히 핵심 장비인 '스마트 그리드 변압기(Smart Grid Transformer)'를 대상으로 합니다. 연구진은 단순히 공장을 만든 것이 아니라, 생성된 모든 테스트가 과학적으로 정확하고 AI가 해결할 준비가 되었는지 스스로 확인하는 고속 조립 라인을 구축했습니다.

문제점: "인간의 병목 현상"

이야기는 AssetOpsBench라는 도구에서 시작됩니다. 이는 산업용 AI 에이전트를 훈련시키기 위한 거대한 체육관과 같습니다. 이전에는 이 체육관에 칠러(chiller)와 에어 핸들러(건물 내 대형 에어컨 유닛)라는 두 종류의 기계만을 위한 장비가 있었습니다. 연구진은 이 체육관에 훨씬 더 무거운 새로운 장비인 스마트 그리드 변압기를 추가하고자 했습니다. 이것들은 도시를 위해 고전압 전력을 낮추는 거대하고 기름이 채워진 거인들입니다.

문제는 무엇일까요? 체육관의 "운동 계획(시나리오)"이 모두 인간 전문가에 의해 수작업으로 작성되었다는 점입니다. 칠러를 위한 운동 계획을 쓰는 것과 변압기를 위한 계획을 쓰는 것은 차원이 다른 문제입니다. 변압기는 오일 가스가 어떻게 화재를 나타내는지, 권선 온도가 절연체를 어떻게 노화시키는지, 전기 부하가 시스템에 어떤 스트레스를 주는지에 대한 복잡한 규칙을 가지고 있습니다. 만약 표준 AI에게 단순히 "고장 난 변압기에 대한 테스트를 작성해 줘"라고 요청한다면, 변압기에 고장 난 타이어가 있다고 제안하는 것과 같은 엉뚱한 소리를 할 수 있습니다. 이러한 테스트를 작성하기 위해 인력을 고용하는 기존 방식은 규모를 키우기에 너무 느렸습니다. 만약 다음 단계로 풍력 터빈을 테스트하고 싶다면, 이 느린 과정을 처음부터 다시 시작해야 했습니다.

해결책: "시나리오 생성 에이전트(Scenario Generator Agent)"

이를 해결하기 위해 팀은 ScenarioGeneratorAgent라는 새로운 파이프라인을 구축했습니다. 이것을 단순히 음식을 요리하는 것뿐만 아니라 레시피를 확인하고, 맛을 보고, 서빙하기 전에 간을 맞추는 마스터 셰프라고 상상해 보십시오.

1. 연구 셰프 (자산 프로파일링): 먼저, 시스템은 연구자처럼 행동합니다. 단순히 변압기가 무엇인지 추측하는 것이 아니라, 과학 논문과 엔지니어링 표준(특히 전기 안전의 '규칙'인 IEC 표준)을 깊이 파고들어 변압기가 정확히 어떻게 작동하는지 학습합니다. 시스템은 어떤 센서를 가지고 있는지, 어떤 고장이 물리적으로 가능한지 파악하여 기계에 대한 상세한 "프로필"을 구축합니다가.
2. 메뉴 플래너 (예산 편성): 다음으로, 어떤 종류의 테스트를 만들지 결정합니다. 가스 누출에 대한 테스트를 더 많이 만들 것인지, 아니면 온도에 대한 테스트를 더 많이 만들 것인지 결정합니다. AI가 다양한 도전 과제라는 균형 잡힌 식단을 섭취할 수 있도록 업무를 분배합니다.
3. 조립 라인 (생성 및 수리): 이것이 마법 같은 부분입니다. 시스템은 "변압기에서 이상한 소리가 나고 오일 가스 수치가 높다"와 같은 테스트 시나리오를 생성합니다. 하지만 여기서 멈추지 않고, 엄격한 "수리 루프(repair loop)"를 통해 시나리오를 검증합니다.
   • 검증기(Validator): 두 번째 AI가 확인합니다: "이것이 물리적으로 말이 되는가? 이 문제를 고칠 수 있는 도구가 있는가? 우리가 존재하지 않는 센서를 만들어내지는 않았는가?"
   • 수정자(Fixer): 만약 테스트가 잘못되었다면(예: AI가 존재하지 않는 도구를 요구하는 경우), 시스템은 이를 자동으로 수정합니다.
   • 필터(Filter): 또한 실수로 동일한 테스트를 중복해서 만들지 않았는지도 확인합니다.

속도 향상: 의미 있는 수준의 속도를 만드는 법

연구진은 완벽한 공장이라 할지라도 테스트 하나를 만드는 데 일주일이 걸린다면 무용지물이라는 것을 알고 있었습니다. 그래서 그들은 시스템에 일련의 "터보차저"를 추가했습니다.

• 캐싱(Caching): 시스템이 변압기의 작동 방식을 이미 찾아보았다면, 그 정보를 "빠른 접근 서랍"에 저장하여 도서관 전체를 다시 읽을 필요가 없게 합니다.
• 병렬 처리(Parallel Processing): 테스트를 하나씩 만드는 대신, 다섯 가지 요리를 위해 한꺼번에 채소를 써는 셰프처럼 그룹 단위로 만듭니다.
• 배칭(Batching): AI에게 하나씩 요청하고 기다리는 대신, 한 번에 열 개의 테스트를 작성하도록 요청합니다.

결과: 빠르고 정확함

팀은 이 새로운 시스템을 사용하여 스마트 그리드 변압기에 대한 50개의 시나리오를 생성하여 테스트했습니다.

• 속도: 최적화되지 않은 "느린" 버전은 50개의 테스트를 만드는 데 약 408초(거의 7분)가 걸렸습니다. 새로운 최적화 버전은 단 50.86초 만에 완료했습니다. 이는 8배의 속도 향상입니다.
• 품질: 가장 중요한 질문은 "속도를 높였더니 테스트의 품질이 떨어졌는가?"였습니다. 대답은 "아니오"였습니다. 연구진은 테스트의 품질을 0에서 100 사이의 척도로 측정했습니다.
  • 기존의 느린 방식은 73.8점을 받았습니다.
  • 새로운 빠른 방식은 74.2점을 받았습니다.
  • 그 차이는 매우 미미하여(0.5점 미만) 통계적으로 의미가 없었습니다. 빠른 공장은 수작업으로 만든 기존 방식만큼 좋은 테스트를 생산해 냈습니다.

이것이 의미하는 바

이 논문은 모든 산업 문제를 해결했다거나 AI가 이제 변압기를 완벽하게 고칠 수 있다고 주장하는 것이 아닙니다. 이 논문이 보여주는 것은, 인간 전문가가 모든 것을 일일이 작성할 필요 없이도, 과학적으로 정확하고 고품질인 산업용 AI 에이전트 훈련 시나리오를 자동으로 생성할 수 있다는 것입니다.

스마트 그리드 변압기를 추가하고 "수리 및 거부(repair-and-reject)" 루프가 AI의 정직함을 유지할 수 있음을 증명함으로써, 연구진은 AI를 풍력 터빈부터 펌프에 이르기까지 온갖 복잡한 기계에 대해 테스트할 수 있는 문을 열었습니다. 그들은 적절한 엔지니어링 규칙과 스마트한 자동화가 결합된다면, 학습하는 레슨의 품질을 희생하지 않으면서도 산업용 AI의 훈련 규모를 확장할 수 있다는 것을 보여주었습니다.