PersonaKit (PK): A Plug-and-Play Platform for User Testing Diverse Roles in Full-Duplex Dialogue

Technische Samenvatting: PersonaKit (PK)

Probleemstelling
Terwijl gesproken dialoagsystemen overgaan van half-duplex naar full-duplex interacties, is de ontwerpgrens verschoven van tekstkwaliteit naar sociolinguïstisch gedrag, specifiek het beheer van overlappende spraak (barge-in). Huidige full-duplex-systemen kiezen doorgaans voor een star "altijd-geven" beleid, waarbij de agent direct het woord afstaat zodra gebruikersspraak wordt gedetecteerd. Hoewel dit gepast is voor onderdanige assistenten, breekt dit gedrag de psychologische immersie voor niet-onderdanige persona's (bijv. autoritaire instructeurs, onwillige handelaren) die in menselijke conversaties natuurlijk zouden onderbreken of het woord zouden vasthouden. Het evalueren van alternatieve, persona-specifieke beurtwisselstrategieën wordt momenteel gehinderd door de aanzienlijke engineering- overhead die nodig is om real-time full-duplex testomgevingen te bouwen die WebRTC, Voice Activity Detection (VAD), dynamische prompt-injectie en latentietracking omvatten.

Methodologie en Systeemarchitectuur
Om deze knelpunten aan te pakken, presenteren de auteurs PersonaKit (PK), een open-source, low-latency webplatform ontworpen voor het snelle prototyping en evalueren van conversatieagenten. Het systeem isoleert low-latency audio-engineering van experimenteel ontwerp, waardoor onderzoekers experimenten volledig kunnen configureren via een webdashboard en vier JSON-bestanden zonder de broncode aan te passen:

• persona.json: Definieert het scenario, de rol en de openingsprompt.
• interruption_config.json: Specificeert een strategiematrix die intenties van gebruikersonderbreking koppelt aan acties van de agent.
• session_config.json: Configureert enquêtes na de sessie.
• model_config.json: Routeert generatie en Tekst-naar-Spraak (TTS) naar specifieke providers.

Kern Technische Componenten:

1. Client-side VAD en Audio-tracking: De frontend maakt gebruik van WebRTC met een client-side VAD-knooppunt om lokale afspeeling onmiddellijk te stoppen bij het detecteren van een "barge-in". Het houdt byte-level afspeeldata bij om de exacte "afgeknipte tekst" (wat de bot vocaliseerde voor de onderbreking) en de "overgebleven tekst" (wat het van plan was te zeggen) te loggen, en stuurt deze precieze context naar de server.
2. Intentieclassificatie en Beurtwisselbeheerder: Bij onderbreking transcribeert de server de uiting van de gebruiker en classificeert de intentie in vier categorieën gebaseerd op conversatieanalyse: Competitief (het woord zoeken), Coöperatief (informatie toevoegen), Onderwerpswijziging en Backchannel.
3. Probabilistische Strategie-injectie: Onderzoekers definiëren een strategiematrix in interruption_config.json die deze intenties koppelt aan vier acties: Afstaan, Hervatten/Vasthouden, Overbruggen of Overschrijven, met bijbehorende waarschijnlijkheidsgewichten. De Beurtwisselbeheerder steekt een actie uit deze verdeling en injecteert deze als een controletoken (bijv. [STRATEGY=RESUME]) in de systeemprompt van de LLM. Dit dwingt de LLM om een reactie te genereren die is geconditioneerd op een vooraf vastgestelde actie in plaats van een strategie zero-shot te kiezen.
4. Geautomatiseerde Levenscyclus: Sessies worden beëindigd op basis van beurtlimieten of verbaal vertrekintenties. Het systeem triggert automatisch een enquête na de sessie en exporteert gestructureerde logs (transcripties, eventlogs met intentie/strategiedata en enquêteantwoorden) in JSON- of CSV-formaat.

Pilot Gebruikersstudie en Resultaten
De auteurs voerden een pilotstudie uit met vijf deelnemers die interactie hadden met acht verschillende persona's die waren gekoppeld aan het Interpersoonlijk Circumplex (variërend in Agency en Communion). Elke deelnemer onderging drie condities per persona:

• Stijl A (Basislijn): Altijd-Afstaan.
• Stijl B (Probabilistisch): JSON-gesopte strategiegewichten.
• Stijl C (Autonoom): LLM kiest strategie zero-shot.

Belangrijkste Bevindingen:

• Persona-afhankelijke Voorkeuren: High-agency persona's (bijv. Drill Sergeant) toonden verbeterde Natuurlijkheid van Reactie met niet-afstaande strategieën (0,60 voor Probabilistisch versus 0,20 voor Altijd-Afstaan), waarbij 60% van de deelnemers de Autonome conditie prefereerde. Omgekeerd prefereerden low-agency, high-communion persona's (bijv. AI-assistent) het Altijd-Afstaan-beleid (70% voorkeur).
• Emergent Gedrag: De probabilistische aanpak maakte coherente herstelreacties op barge-in mogelijk die door de Altijd-Afstaan-basislijn zouden worden verworpen. Bijvoorbeeld, een Drill Sergeant die halverwege een zin werd onderbroken, slaagde er succesvol in de zin te hervatten ("...opnieuw!") wanneer het systeem een "Hervatten"-actie streek, waardoor de karakterconsistentie behouden bleef.
• Kwalitatieve Feedback: Deelnemers merkten op dat niet-afstaande strategieën voor autoritaire rollen meer "menselijk" voelden, terwijl afstaande strategieën werden geprefereerd voor service-rollen.

Belangrijkste Bijdragen

1. Open-source Platform: Een plug-and-play webplatform voor full-duplex persona-evaluatie dat de engineering-knoop van het bouwen van aangepaste real-time dialogomgevingen wegneemt.
2. Configureerbare Beurtwisseling: Een op JSON gebaseerd mechanisme dat persona-geconditioneerde onderbrekingsbeleid verheft tot configureerbare objecten van de eerste orde, waardoor onderzoekers probabilistische beurtwisselgedragingen kunnen definiëren zonder code-aanpassingen.
3. End-to-End Workflow: Een geïntegreerd systeem dat live implementatie, geautomatiseerde vergelijkende A/B-enquêtes en gestructureerde data-export ondersteunt voor het analyseren van complexe sociolinguïstische gedragingen.

Betekenis en Beperkingen
Het artikel beweert dat PersonaKit een uitbreidbaar, end-to-end kader biedt voor het bestuderen van hoe beurtwisselstrategieën de gebruikersperceptie en persona-consistentie beïnvloeden in spraakagenten van de volgende generatie. Het toont aan dat voorkeuren voor onderbrekingsbeleid aanzienlijk variëren op basis van de rol van de persona binnen het Interpersoonlijk Circumplex.

De auteurs houden een bescheiden standpunt aan met betrekking tot hun bevindingen. Ze erkennen dat de pilotstudie (N=5) beschrijvend is in plaats van inferentieel, en dat grotere steekproeven nodig zijn voor robuuste claims over mapping van circumplex naar strategie. Ze wijzen ook op beperkingen in hun zero-shot intentieclassificatie (die ambigu back-channels verkeerd kan labelen) en de uitsluiting van fijnmazige prosodische aanwijzingen (toonhoogte, blik) ten gunste van configureerbaarheid. Het systeem wordt gepresenteerd als een testomgeving voor toekomstig onderzoek in plaats van een afgeronde commerciële oplossing.