Tuning the Stochastic Machine: A Systems Engineer's Operating Model for Human-AI Engineering
Gebruikmakend van dertig jaar ervaring in systeemengineering, betoogt dit artikel dat terugkerende LLM-fouten voortkomen uit een gebrek aan operationele discipline in plaats van beperkingen in de tooling, en stelt het een zevenprincipes model voor dat traditionele concepten van systeembeheer zoals versiebeheer, monitoring en uitfasering aanpast om mens-AI engineering effectief te besturen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de moderne wereld van kunstmatige intelligentie is een specifieke vorm van frustratie algemeen geworden voor experts die met deze hulpmiddelen werken. Een ervaren ingenieur of schrijver kan uren besteden aan het corrigeren van een subtiele fout gemaakt door een AI-assistent, om er vervolgens achter te komen dat dezelfde fout opnieuw verschijnt in een toekomstig gesprek. Het hulpmiddel is de correctie niet vergeten omdat het nooit echt is verteld om het te onthouden. Dit gebeurt omdat het huidige ontwerp van deze systemen elk nieuw gesprek behandelt als een frisse start, waarbij het canvas wordt schoongeveegd van wat er momenten daarvoor is geleerd. Het artikel onderzoekt deze kloof tussen het vermogen van de machine om tekst te genereren en de menselijke behoefte aan een systeem dat leert en correcties in de loop van de tijd onthoudt. Het betoogt dat de oplossing niet een nieuw type software of een slimmer algoritme is, maar een reeks operationele gewoonten geleend uit het lang gevestigde vakgebied van systems engineering, waar het beheren van complexe, onvoorspelbare machines een dagelijkse routine is.
De auteur, een systems engineer met dertig jaar ervaring, merkt op dat de industrie zwaar heeft gefocust op de hulpmiddelen die AI in staat stellen om dingen te onthouden, zoals persistente geheugenbestanden of instructiegidsen. De paper suggereert echter dat het hebben van deze hulpmiddelen niet genoeg is als de mensen die ze gebruiken niet beschikken over een gedisciplineerd proces om hen te besturen. Zonder een strikte methode om vast te leggen waarom een correctie werd gemaakt, te controleren of het werkt, en uiteindelijk regels uit te faseren die niet langer nodig zijn, wordt de verzameling instructies een rommelige, ineffectieve bende. De kernbevinding is dat het ontbrekende stuk niet technologie is, maar discipline. De auteur stelt een zevenstaps operationeel model voor dat de AI niet behandelt als een magische orakel, maar als een stuk apparatuur dat zorgvuldige configuratie, constante monitoring en een duidelijke lus vereist om te leren van fouten.
Deze aanpak begint met een eenvoudige maar krachtige realisatie: de kennis van de AI is vaststaand, zoals een computerchip die niet veranderd kan worden terwijl deze draait, terwijl het gesprek zelf tijdelijk is, zoals het geheugen in een computer dat verdwijnt wanneer de stroom wordt uitgeschakeld. Wanneer een mens een AI tijdens een chat corrigeert, is die correctie alleen effectief voor die specifieke sessie. Zodra de sessie eindigt, verdwijnt de correctie. Om de AI werkelijk beter te maken, moet de correctie worden opgeschreven in een permanent configuratiebestand dat elke keer dat het systeem opstart, wordt geladen. De paper noemt dit het "write-back pad". Het is het verschil tussen een arbeider vertellen een probleem eenmaal op te lossen en het officiële handboek bijwerken zodat elke arbeider, in elke toekomstige dienst, weet hoe dezelfde fout te vermijden.
Het voorgestelde systeem steunt op zeven leidende principes om dit proces te beheren. Ten eerste moet elke betekenisvolle correctie worden opgeslagen als een permanent verslag; als dat niet gebeurt, gaat het verloren. Ten tweede moeten deze regels in lagen worden georganiseerd, waarbij algemene regels voor alle taken apart staan van specifieke regels voor een bepaald project, om verwarring en duplicatie te voorkomen. Ten derde, omdat de AI inherent onvoorspelbaar is en een bereik van mogelijke antwoorden produceert in plaats van één gegarandeerd antwoord, is het doel om het volledige bereik van uitkomsten te beheren, met speciale aandacht voor de zeldzame maar gevaarlijke fouten aan de randen van dat bereik. Ten vierde fungeert de menselijke expert als de laatste veiligheidscontrole, die fouten opvangt die de machine niet zelf kan detecteren en ervoor zorgt dat de fix wordt teruggeschreven in het permanente systeem.
De resterende principes richten zich op meting en onderhoud. De auteur waarschuwt dat het simpelweg tellen van hoe vaak een hulpmiddel wordt gebruikt een slechte maatstaf is voor succes, omdat het activiteit beloont in plaats van kwaliteit. In plaats daarvan moeten teams bijhouden of specifieke soorten fouten in de loop van de tijd stoppen met voorkomen. Ze moeten ook regelmatig hun lijst met regels beoordelen om die te verwijderen die niet langer nuttig zijn, om ervoor te zorgen dat het systeem niet wordt belast door verouderde instructies. Ten slotte moet het team altijd verifiëren dat ze op een echt doel mikken; als een proces slechts willekeurige ruis is, zal geen enkele discipline het beter maken.
Om te illustreren hoe dit in de praktijk werkt, deelt de auteur drie praktijkvoorbeelden. In één geval suggereerde een AI een technische methode om een computerprogramma te versnellen op basis van zijn reputatie, maar de methode faalde in een specifieke situatie, wat precies de vertraging veroorzaakte die het moest voorkomen. Door de nieuwe discipline toe te passen, herstelde de ingenieur niet alleen de code; hij creëerde een permanente regel die voorkwam dat de AI die methode ooit nog zou kiezen zonder de specifieke condities te controleren. In een ander voorbeeld was een beveiligingsregel bedoeld om ongeautoriseerde toegang te blokkeren zo slecht geschreven dat het per ongeluk iedereen binnenliet. Het systeem ving dit op door een specifieke vraag te stellen over de vraag of de regel de schade kon veroorzaken die het juist moest voorkomen. Een derde voorbeeld liet zien hoe het systeem in omgekeerde richting werkte: de AI beoordeelde het werk van een mens en vond een gat in het eigen denken van de mens, wat leidde tot een correctie die het kader van de mens verbeterde. Dit toonde aan dat de samenwerking twee kanten op werkt, waarbij de mens en de machine elkaar corrigeren.
De paper concludeert dat hoewel de technologie van kunstmatige intelligentie nieuw is, de discipline die nodig is om het veilig te beheren dat niet is. De methoden die worden beschreven zijn dezelfde als die decennialang zijn gebruikt om complexe industriële machines en handelssystemen te beheren. De auteur stelt dat de industrie momenteel beweegt naar een ontwerp waarbij de AI alles vergeet tussen gesprekken door, wat efficiënt is voor de machine maar gevaarlijk voor de gebruiker. De oplossing is om een laag van menselijk bestuur rond de machine te bouwen, om ervoor te zorgen dat elke geleerde les wordt bewaard, getest en wordt gebruikt om de prestaties van het systeem in de loop van de tijd aan te scherpen. De auteur geeft toe dat dit een voorstel is gebaseerd op ervaring en logica, niet op een definitief wetenschappelijk bewijs, en schetst een plan voor toekomstige studies om deze ideeën met harde gegevens te testen. Tot die tijd is de boodschap duidelijk: om het meeste uit deze krachtige hulpmiddelen te halen, moeten we ze niet behandelen als magie, maar als machines die een vaste hand en een duidelijke set regels vereisen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.