ComAct: Reframing Professional Software Manipulation via COM-as-Action Paradigm
Dit artikel introduceert het COM-as-Action-paradigma en de ComActor-agent, die het Component Object Model benutten om professionele softwaremanipulatie te transformeren van fragiele visuele besturing naar deterministische programsynthese, waarmee state-of-the-art prestaties worden behaald op de nieuwe ComCADBench voor industriële CAD-taken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een robot probeert te leren hoe hij complexe professionele software moet gebruiken, zoals een geavanceerd 3D-ontwerpprogramma (CAD). Momenteel zijn er twee belangrijke manieren waarop mensen dit proberen te doen, en beide hebben grote problemen:
De "Pixel-staren" Robot (GUI-gebaseerd): Deze robot probeert de software precies te gebruiken zoals een mens dat doet. Hij kijkt naar het scherm, vindt een knop met zijn ogen en klikt erop.
- Het Probleem: Professionele softwareschermen zijn rommelig en chaotisch. Als de robot een knop met slechts één pixel mist, of als het scherm er net iets anders uitziet, raakt hij in de war. Als hij vroeg in het proces een fout maakt, stapelen deze fouten zich op, en tegen de tijd dat hij klaar is, is het hele project verpest. Het is alsof je een huis probeert te bouwen door blindelings stenen tegen elkaar aan te tikken zonder een blauwdruk.
De "Gereedschapskist" Robot (API-gebaseerd): Deze robot probeert een specifieke afstandsbediening of opdrachtregel te gebruiken voor elke specifieke software.
- Het Probleem: Elk softwarebedrijf (zoals Adobe, Microsoft of Autodesk) gebruikt een andere taal voor hun afstandsbedieningen. Sommige laten je die afstandsbedieningen zelfs helemaal niet gebruiken. Het is alsocht een andere sleutel voor elke deur in een stad hebben, en voor veel deuren heb je zelfs geen sleutel.
Het Nieuwe Idee: "De Meester Sleutel" (COM-als-Actie)
De auteurs van dit artikel, ComAct, hebben een "Meester Sleutel" ontdekt die bijna alle professionele Windows-software al ingebouwd heeft. Dit heet COM (Component Object Model).
Beschouw COM niet als een visuele knop op een scherm, maar als een directe, geheime telefoonlijn naar het brein van de software. In plaats van de robot te vertellen: "Zoek de rode knop en klik erop," kun je simpelweg zeggen: "Teken een cirkel hier," en de software doet het direct en perfect.
De Grote Verschuiving:
In plaats van dat de robot als een onhandige mens rondklikt op een scherm, verandert ComAct de robot in een programmeur. De robot schrijft een kort, precies script (een reeks instructies) dat de software direct uitvoert. Dit verwijdert de "onhandige mens"-fouten en stelt de robot in staat om complexe, meerstaps-taken aan te pakken zonder zijn plek te verliezen.
De "Gym" en de "Coach"
Om te bewijzen dat dit werkt, hebben het team drie belangrijke zaken gebouwd:
- ComCADBench (Het Examen): Ze hebben de eerste test ooit gemaakt die specifiek gericht is op robots die gebruikmaken van echte industriële ontwerpsoftware. Het is als een rijexamen, maar in plaats van een auto, moet de robot complexe 3D-modellen en technische tekeningen maken.
- ComForge (De Gym): Het trainen van een robot op deze manier is moeilijk omdat je duizenden echte computers tegelijkertijd nodig hebt om te oefenen. Ze hebben een enorme "gym" gebouwd van duizenden virtuele Windows-computers waar de robot 24/7 kan oefenen zonder echte machines te laten crashen.
- ComActor (De Student): Dit is hun nieuwe robot-agent. Ze hebben hem niet zomaar één keer geleerd; ze gebruikten een trainingsmethode in drie stadia:
- Fase 1 (Het alfabet leren): De robot de basis syntaxis van de "Meester Sleutel" (COM) leren, zodat hij geldige scripts kan schrijven.
- Fase 2 (Leren van fouten): De robot laten proberen, falen, de foutmelding bekijken en zijn eigen code repareren. Hij leert te zeggen: "O, ik probeerde een lijn te tekenen waar er geen was, laat me dat even herstellen."
- Fase 3 (De Kunstcriticus): Soms werkt de code wel, maar is de 3D-vorm iets te veel vervormd (zoals een scheve stoel). Ze gebruikten een speciaal beloningssysteem dat de exacte geometrie van het resultaat meet. Als de vorm niet perfect is, krijgt de robot een "onvoldoende" en moet hij het opnieuw proberen totdat de vorm wiskundig accuraat is.
De Resultaten
Toen ze ComActor aan de test onderwierpen:
- Oude Robots (GUI-gebaseerd): Ze faalden bijna alles (0% succes). Ze raakten verdwaald in de visuele chaos.
- Slimme Robots (Top AI-modellen) via de oude methode: Zelfs de slimste AI-modellen faalden wanneer ze probeerden op knoppen te klikken.
- ComActor: Het behaalde state-of-the-art resultaten. Het slaagde niet alleen, maar handelde ook lange, complexe taken af (zoals het bouwen van een onderdeel, het assembleren ervan en vervolgens een technische tekening maken) waarbij andere robots zouden zijn ingestort. Het generaliseerde zelfs goed naar andere soorten ontwerptests die het nog niet eerder had gezien.
De Kernboodschap
Het artikel betoogt dat om professionele software te automatiseren, we robots niet meer moeten laten lijken op mensen (het klikken op knoppen). In plaats daarvan moeten we ze laten handelen als programmeurs die gebruikmaken van de ingebouwde "breininterface" van de software (COM). Door dit te doen, en hen te trainen in een enorme virtuele gym met een strikte "geometrie-coach", kunnen ze een niveau van precisie en betrouwbaarheid bereiken die voorheen onmogelijk was.
Noot: De auteurs geven expliciet aan dat hun huidige werk beperkt is tot CAD-software op Windows. Hoewel zij geloven dat dit in de toekomst ook voor Office of Adobe software zou kunnen werken, bewijst hun artikel op dit moment alleen dit voor 3D-ontwerptools.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.