Technische Samenvatting: Robot Drummer

Probleemstelling

Het in staat stellen van humanoïde robots om muziek uit te voeren, specifiek drummen, brengt unieke uitdagingen met zich mee die verschillen van traditionele doelgerichte robotica-taken. In tegenstelling tot taken met goed gedefinieerde eindstaten, is muzikale uitvoering procesgestuurd, wat vereist dat de robot een evoluerende sequentie van acties over een lange temporele horizon (minuten) in stand houdt, in plaats van een eindconfiguratie te bereiken. Drummen vereist specifiek:

• Splits-seconde timing: Precieze coördinatie waarbij kleine afwijkingen de emotionele kwaliteit beïnvloeden.
• Snelle contacten: Hoogfrequente, intermitterende impact op specifieği oppervlakken.
• Multi-limb coördinatie: Complexe ruimtelijke planning om tussen drums en stokken te schakelen.
• Long-horizon exploratie: Nummers bevatten honderden slagen, wat leidt tot ijle beloningen (sparse rewards) en slechte exploratie in standaard Reinforcement Learning (RL) settings.

Bestaande RL-toepassingen in robotica hebben zich gericht op doelgerichte gedragingen (bijv. lopen, stabiliseren) of vereenvoudigde muzikale taken (bijv. piano met behendige handen, of 2-DoF onderactieve drumarmen). Er is een gebrek aan onderzoek naar leergestuurde controle voor gecoördineerd, hoog-DoF humanoïde drummen over diverse, langdurige muzikale repertoires.

Methodologie

De auteurs introduceren Robot Drummer, een simulatieframework ontworpen om een humanoïde robot in staat te stellen drumtracks uit te voeren die zijn afgeleid van MIDI-transcripties. De aanpak is gebouwd op drie kernzuilen:

1. Muzikale Representatie: Rhythmic Contact Chain (RCC)

In plaats van ruwe golfvormen of spectrogrammen te gebruiken, modelleert het systeem drummen als een sequentie van getimede contactgebeurtenissen.

• MIDI naar RCC: MIDI note-onset gebeurtenissen worden gemapt naar specifieke drums (snare, toms, cymbalen, hi-hat) op basis van een vaste noot-naar-drum mapping.
• Formele Definitie: De RCC wordt gedefinieerd als een verzameling contactstappen $C = \{C_1, C_2, ..., C_N\}$. Elke stap $C_i$ op tijdstip $t_i$ specificeert de doeldrums ($D_i$), snelheidvectoren ($V_i$), en optionele stok-toewijzingen ($S_i$).
• Policy Input: De policy observeert proprioceptie, ruimtelijke context (drum/stok posities), en een lookahead horizon van toekomstige contactdoelen ($L$ stappen vooruit) om ritmische context te bieden.

2. Temporele Decompositie

Om de long-horizon natuur van nummers aan te pakken (die 6+ minuten kunnen duren), vermijden de auteurs het trainen op volledige tracks in één enkele episode.

• Segmentatie: De volledige RCC wordt gedecomposeerd in $M$ vaste-lengte segmenten.
• Parallelle Training: Een enkele policy wordt getraind over alle segmenten in parallel. Dit transformeert een enkele long-horizon taak naar meerdere kortere, hanteerbare trainingssegmenten, wat de sample-efficiëntie en blootstelling aan verschillende delen van het nummer aanzienlijk verbetert.

3. Beloningsontwerp en Policy Training

Het systeem maakt gebruik van Proximal Policy Optimization (PPO) binnen een finite-horizon Markov Decision Process (MDP).

• Dense Contact Rewards: Om problemen met ijle beloningen te overwinnen, stellen de auteurs een uniforme taakbeloning ($r_t$) voor die dense feedback geeft voor elke contactgebeurtenis:
  • $r_{correct}$: Beloont het raken van de juiste drum.
  • $r_{wrong}$: Bestraft het raken van de verkeerde drum.
  • $r_{missed}$: Bestraft het niet raken van een doel.
  • $r_{prox}$: Moedigt nabijheid tot doeldrums aan op verwachte momenten van impact.
• State Initialisatie: De auteurs introduceren Music State Initialization, waarbij trainingsepisoden beginnen op willekeurige fasen binnen een segment. Dit randomiseert het startpunt van het nummer, waardoor de policy vroeg in de training wordt blootgesteld aan contactstaten met hoge beloningen.
• Actieruimte: De policy geeft doelgewrichtshoeken uit voor een Proportional-Derivative (PD) controller, die de noodzakelijke torques genereert voor de 15-DoF Unitree G1 humanoïde robot.

Belangrijkste Resultaten

Het framework werd geëvalueerd in de Isaac Gym simulatieomgeving met een Unitree G1 humanoïde robot over meer dan 30 populaire rock- en metaltracks.

• Prestatie-metrieken: Het systeem gebruikt Precision, Recall en F1-scores om de ritmische getrouwheid te meten. Specialistische policies (getraind op enkelvoudige nummers) behaalden consistent hoge F1-scores (vaak >0.9).
  • Nummers met regelmatige patronen en minder drums (bijv. Rebel Rebel) behaalden bijna perfecte scores (0.985).
  • De prestaties verslechterden bij toenemende ritmische onregelmatigheid (hoge nPVI) en een hoger aantal drums, waarbij de sterkste negatieve correlatie werd gevonden tussen nPVI (timing variabiliteit) en de F1-score ($\rho = -0.52$).
• Emergent Gedrag: De geleerde policies vertoonden menselijke strategieën zonder expliciete codering, waaronder:
  • Cross-arm strikes: Het uitvoeren van complexe manoeuvres zoals het kruisen van de armen om verre drums te bereiken.
  • Dynamische stok-toewijzing: Automatisch wisselen welke hand welke drum raakt op basis van de aankomende sequentie (bijv. de rechterhand vrijhouden voor een cymbaal na een snare-slag).
• Ablatie-studies:
  • Beloningen: Het verwijderen van straffen voor verkeerde of gemiste slagen degradeerde de prestaties aanzienlijk, wat de noodzaak van dense contactfeedback bevestigt.
  • Observaties: Het verwijderen van de expliciete "contactdoelen" (toekomstige targets) zorgde ervoor dat de F1-scores bijna naar nul zakten, wat bewijst dat een eenvoudige continue tijd-fase variabele onvoldoende is; de policy vereist expliciete kennis van welke drum als volgende geraakt moet worden.
  • Temporele Decompositie: Hoewel end-to-end training op volledige tracks vergelijkbare uiteindelijke F1-scores opleverde, vereiste dit 8–9 uur trainingstijd vergeleken met 2–3 uur met temporele segmentatie.
• Multi-Song Training: Het trainen van een enkele policy op meerdere nummers resulteerde in prestatiedalingen vergeleken met specialistische policies, wat wijst op negatieve transfer wanneer ritmische patronen conflicteren (bijv. onregelmatige timing versus snel tempo).

Betekenis en Claims

Het artikel claimt dat Robot Drummer het eerste werk is dat onderzoek doet naar leergestuurde controle voor gecoördineerd humanoïde drummen. De significantie ligt in:

1. Formalisering van Procesgestuurde Taken: Het adresseert succesvol de uitdaging van long-horizon, procesgestuurde taken door ze te decomponeren in vaste-lengte segmenten en gebruik te maken van dense, contact-gebaseerde beloningen.
2. Schaalbaarheid: Het framework maakt efficiënte leerprocessen van ritmische vaardigheden mogelijk over een divers repertoire aan nummers, waarbij een hoge ritmische getrouwheid wordt bereikt.
3. Emergente Intelligentie: Het systeem demonstreert dat RL complexe, menselijke drumstrategieën (cross-overs, adaptief stokgebruik) kan ontdekken puur door beloningsoptimalisatie, zonder expliciete programmering van deze manoeuvres.
4. Fundament voor Toekomstig Werk: Hoewel momenteel gebaseerd op simulatie en zonder akoestische modellering (geluidsproductie, stok-rebound), legt dit werk een pad naar geluid-bewuste controle, wat suggereert dat robots uiteindelijk getraind kunnen worden om niet alleen de beweging, maar ook de akoestische uitkomst van hun uitvoering te controleren.

De auteurs concluderen dat hoewel specialistische policies momenteel beter presteren dan multi-song policies, het framework een robuust fundament biedt voor het bevorderen van robotische muzikaliteit en mens-robot muzikale samenwerking.