A Low-Code Approach for the Automatic Personalization of Conversational Agents

기술 요약: 대화형 에이전트의 자동 개인화를 위한 로우코드 접근 방식

문제 정의
대규모 언어 모델(LLM)은 개방형 상호작용을 처리하기 위해 대화형 에이전트(CA)의 능력을 향상시켰으나, 특정 사용자 프로필에 적응하는 개인화된 대화형 에이전트(PCA)를 생성하는 것은 여전히 복잡한 과제로 남아 있습니다. 현재 최적의 사용자 경험을 달ել 위해서는 숙련된 개발자가 임시적인 기술적 솔루션을 구현해야 합니다. 비기술적 사용자가 사용자 유형을 정의하고, 필요한 적응 사항을 명시하며, 그에 대응하는 개인화된 에이전트를 자동으로 생성할 수 있게 하는 접근 가능한 도구가 부족한 실정입니다.

방법론
저자들은 PCA의 모델링과 생성을 용이하게 하기 위해 모델 주도 개발(Model-Driven Development) 접근 방식을 기반으로 한 로우코드/노코드 파이프라인을 제안합니다. 이 파이프라인은 네 가지 주요 활동을 통해 작동합니다:

1. 사용자 및 에이전트 프로파일 모델링:

   • 사용자 모델링: 메타모델(선행 연구 [9] 기반)을 활용하여 장애, 언어 선호도, 인지적 요구사항과 같은 특정 속성(예: 노인, 하반신 마비 환자)을 가진 사용자 범주를 정의합니다.
   • 에이전트 모델링: 상태, 전이, 의도(intent), 액션(사전 정의됨, LLM 생성 또는 RAG 기반)을 포함하는 상태 머신과 유사한 형식(UML 상태 머신과 유사)을 사용하여 베이스 에이전트 모델을 정의합니다.
   • 에이전트 프로파일링: 네 가지 차원인 콘텐츠(의미론), 프레젠테이션(스타일/시각 요소), 행동(상호작용 흐름), 모달리티(입출력 채널)로 분류된 개인화 구성 메타모델을 정의합니다.

2. 설계 시점 개인화 (Model-to-Model 변환):

   • 이 단계는 베이스 에이전트 모델 내의 하드코딩된 텍스트 응답을 적응시킵니다.
   • 외부 LLM에 특정 측면(예: 언어 복잡도, 문장 길이, 어조)에 대해 순차적으로 프롬프트를 제공하여 사전 정의된 메시지를 재작성합니다.
   • 이러한 순차적 접근 방식은 프롬프트의 복잡성을 줄이고 적응 측면 간의 상호 간섭을 방지합니다.
   • 설계자는 진행하기 전에 이러한 적응된 텍스트를 수동으로 검증하고 정제할 수 있습니다.

3. 수동 모델 검증:

   • 설계자는 특정 사용자 프로필과 연결된 개인화된 에이전트 모델을 검토하며, 더 깊은 적응이 필요한 경우 텍스트를 수정하거나 고유한 상태를 추가하는 등의 수동 조정을 수행합니다.

4. 런타임 개인화 (Model-to-Code 변환):

   • 결정론적인 코드 생성 프로세스가 최종 에이전트를 생성합니다.
   • 이는 음성 속도, 아바타 선택, 응답 타이밍, 모달리티 전환과 같이 미리 계산될 수 없는 동적 적응을 처리하기 위한 코드를 삽입합니다.
   • LLM 상호작용의 경우, 생성된 응답이 사용자 프로필 제약 조건을 준수하도록 컨텍스트 프롬프트가 동적으로 삽션됩니다. 적응의 정확성(예: 특정 인구 통계에 대해 조언이 안전한지 여부)을 검증하기 위해 보조 LLM 체크를 사용할 수 있습니다.

구현 및 툴링
본 파이프라인은 BESSER 프레임워크를 확장하여 구현되었습니다. 구현 사항에는 다음이 포함됩니다:

• 에이전트 변형의 설계 시점 명세 및 런타임 프로파일 선택을 지원하기 위한 **BESSER 에이전트 프레임워크(BAF)**의 확장.
• M2M 및 M2C 단계를 실행하기 위한 BESSER 로우코드 플랫폼의 새로운 변환기 및 생성기.
• 사용자 프로필을 위한 그래픽 표기법과 에이전트 구성을 위한 폼 기반 구문을 제공하는 웹 모델링 에디터.

주요 기여

• 로우코드 파이프라인: 비기술적 사용자가 깊은 프로그래밍 전문 지식 없이도 개인화된 CA를 모델링, 적응 및 생성할 수 있게 하는 혁신적인 워크플로우.
• 관심사 분리: 사용자 프로필, 베이스 에이전트 모델, 에이전트 프로필을 분리하는 메타모델 아키텍처를 통해 재사용성과 모듈성을 증진함.
• 하이브리드 적응 전략: LLM 기반의 설계 시점 텍스트 적응과 정적 및 동적 개인화 요구를 모두 처리하기 위한 결정론적 런타임 코드 삽입의 결합.
• 개인화 분류 체계: CA를 위해 구체화된 개인화 가능한 구성 요소(콘텐츠, 프레젠테이션, 행동, 모달리티)의 통합된 분류.

결과 (파일럿 연구)
8명의 참가자(기술 전문가 4명, 비기술 일반인 4명)를 대상으로 한 파일럿 사용자 연구를 통해 도구의 인지된 사용성 및 유용성을 평가했습니다.

• 사용성 (RQ1): 두 그룹 모두 높은 사용성을 보고했습니다. 전문가는 시스템 사용성 척도(SUS) 점수 92.50을, 일반인은 78.75를 기록했습니다. 인지된 사용 용이성(PEOU)은 전문가 96.60, 일반인 71.60이었습니다. 완료 시간과 개입 횟수는 두 그룹 간에 비슷하게 나타나, 본 도구가 비전문가에게도 접근 가능하다는 것을 시사했습니다.
• 유용성 (RQ2): 두 그룹 모두 파이프라인이 매우 유용하다고 인식했습니다 (전문가: 95.00, 일반인: 85.00).
• 관찰 사항: 일반인은 사용자 프로필 에디터에서 요소를 연결하는 과정에서 약간 더 높은 인지 부하를 느꼈으며, 구성 페이지가 과다하다고 느꼈습니다.

의의 및 주장
본 논문은 웹 애플리케이션을 위한 대화형 에이전트의 자동 개인화에 모델 주도 로우코드 접근 방식을 적용한 첫 번째 연구라고 주장합니다. 이는 고급 LLM 능력과 다양한 사용자 요구를 위해 이를 구현하는 데 필요한 기술적 전문성 사이의 간극을 해결합니다. 저자들은 이 연구를 비기술적 이해관계자가 특정 사용자 제약(예: 노인 또는 하반신 마비 사용자를 위한 접근성)에 맞춘 에이전트를 정의하고 배포할 수 있도록 하여 PCA 생성을 민주화하려는 초기 시도로 규정합니다. 연구는 본 접근 방식이 유망함을 보여주지만, 개인화 유형을 확장하고, 일관성에 대한 품질 체크를 추가하며, 더 큰 규모의 검증 연구를 수행하는 등의 향후 과제가 필요하다고 결론짓습니다.