LLM-Based Automated Diagnosis Of Integration Test Failures At Google
Dit paper introduceert Auto-Diagnose, een door LLM-aangedreven tool die bij Google is geïntegreerd in het code-reviewproces om de diagnose van integratietestfouten te automatiseren en met een nauwkeurigheid van 90,14% en een hoge gebruikersacceptatie de ontwikkelaarsproductiviteit significant verbetert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Digitale Detective: Hoe Google AI Gebruikt om Softwarefouten op te Sporen
Stel je voor dat je een gigantisch, ingewikkeld machinebedrijf runt. Elke dag testen je ingenieurs of de machines goed werken. Soms lukt het, maar soms stopt een machine plotseling met draaien. In de softwarewereld noemen we dit een "integratietest-fout".
Vroeger was het vinden van de oorzaak van zo'n storing een nachtmerrie. Het was alsof je in een enorme berg rommel moest graven om één klein, gebroken tandwiel te vinden.
Hier is hoe Google dit probleem heeft opgelost met een nieuwe tool genaamd Auto-Diagnose, en waarom dit zo'n groot succes is.
1. Het Probleem: De Berg Rommel
Wanneer een softwaretest faalt, genereert de computer duizenden pagina's aan logboeken (tekstbestanden die vertellen wat er gebeurd is).
- De analogie: Stel je voor dat je een auto hebt die niet start. In plaats van één lampje dat "motor kapot" aangeeft, krijg je 16 verschillende notitieboekjes vol met krabbels. In één boekje staat "de motor is koud", in een ander "de banden zijn leeg", en in weer een ander staat "de radio is uit".
- Het probleem: De meeste van deze notities zijn onbelangrijk ruis. De echte fout zit ergens diep verborgen tussen duizenden regels tekst. Voor een mens is het zoeken naar die ene fout extreem vermoeiend en tijdrovend. Het kan uren of zelfs dagen duren om uit te zoeken wat er mis is.
2. De Oplossing: De Super-Detective (LLM)
Google heeft een nieuwe tool bedacht die werkt als een super-detective met een supergeheugen. Deze tool heet Auto-Diagnose.
In plaats van dat een mens urenlang moet zoeken, doet de tool het volgende:
- Het verzamelt alle notitieboekjes: De tool pakt alle 16 logbestanden en plakt ze aan elkaar tot één groot verhaal.
- Het leest alles in een seconde: De tool gebruikt een "Groot Taalmodel" (een slimme AI, vergelijkbaar met de technologie achter ChatGPT). Dit model is een meester in het lezen van lange teksten en het samenvatten van de belangrijkste punten.
- Het geeft het antwoord: In plaats van de hele berg tekst te tonen, zegt de AI: "Kijk hier! Op pagina 42, regel 15, staat dat de server is gecrasht omdat hij een verkeerde instructie kreeg."
3. Hoe werkt het in de praktijk?
Bij Google gebeurt dit allemaal automatisch.
- Een ontwikkelaar stopt een stukje code in het systeem.
- De test faalt.
- Klik! Direct verschijnt er een kort, duidelijk berichtje in het systeem waar de code wordt beoordeeld (een soort digitale post-it).
- Dit berichtje zegt: "Hier is de fout, en hier zijn de drie zinnen in het logboek die het bewijzen."
De ontwikkelaar hoeft niet meer te graven. Hij of zij kan direct de fout repareren.
4. Werkt het echt? (De resultaten)
Google heeft deze tool getest en de resultaten zijn indrukwekkend:
- Precisie: In een test met 71 echte fouten had de AI in 90% van de gevallen de juiste oorzaak gevonden.
- Schaal: Na de lancering is de tool gebruikt bij meer dan 52.000 verschillende tests.
- Tevredenheid: Van de ontwikkelaars die feedback gaven, vonden slechts 5,8% de tool "niet nuttig". Dat is heel laag! Sterker nog, van alle 370 verschillende hulpmiddelen die Google gebruikt, staat Auto-Diagnose op plek 14 in de lijst van "meest nuttige tools".
5. Wat zeggen de mensen?
In interviews zeiden ontwikkelaars dingen als:
- "Vroeger moest ik uren zoeken door logboeken. Nu zie ik het antwoord direct."
- "Het voelt alsof er een ervaren collega naast je staat die direct weet waar het mis is."
Sommige mensen zijn zelfs zo enthousiast dat ze hopen dat de AI in de toekomst niet alleen de fout vindt, maar hem ook direct repareert.
Conclusie
Deze paper laat zien dat kunstmatige intelligentie (AI) niet alleen goed is voor het schrijven van gedichten of het maken van plaatjes, maar ook een enorme hulp kan zijn voor ingenieurs. Door de "rommel" van duizenden logbestanden om te zetten in een helder verhaal, bespaart Auto-Diagnose tijd, stress en geld.
Het is alsof je van een mens die met een vergrootglas in een modderpoel zoekt, overstapt op een drone die direct de verloren sleutel boven de poel ziet hangen. En dat maakt het werk van softwareontwikkelaars een stuk leuker en sneller.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.