Technische Samenvatting: LogSieve

Probleemstelling

Continuous Integration (CI) logs, met name binnen mobiele ecosystemen zoals Android, worden gekenmerkt door een hoog volume, veel luidruchtigheid en ongestructureerde ruis. Hoewel ze essentieel zijn voor het diagnosticeren van build-fouten en prestatie-regressies, maakt hun enorme omvang handmatige inspectie en geautomatiseerde analyse steeds kostbaarder, tijdrovender en milieutechnisch onhoudbaarder. De adoptie van Large Language Models (LLMs) voor CI-taken (bijv. uitleg van fouten, root cause analysis) verergert deze problemen, aangezien de kosten voor inferentie en latentie direct schalen met de lengte van de input-tokens.

Bestaande technieken voor log-reductie richten zich primair op "structuur-eerst" doelen zoals compressie, deduplicatie of template-clustering (bijv. LogZip, Drain, Spell). Hoewel deze methoden de opslagefficiëntie en indexering verbeteren, behouden ze vaak taak-irrelevante inhoud (bijv. tijdstempels, downloads van afhankelijkheden, omgevingsinstellingen) die het token-budget opblazen zonder bij te dragen aan downstream redeneren. Daartegenover staan LLM-gebaseerde reductiemethoden die vaak hoge inferentiekosten met zich meebrengen tijdens het reductieproces zelf. Er is een kritiek gat in "taakbewuste" reductie die informatiearme regels filtert op basis van semantische relevantie voor specifieke diagnostische taken (zoals Root Cause Analysis) voordat de LLM-inferentie plaatsvindt.

Methodologie

Het artikel introduceert LogSieve, een lichtgewicht, pre-inferentie log-reductietechniek ontworpen om CI-logs te filteren met behoud van semantische getrouwheid voor downstream LLM-redenering. De methodologie wordt geëvalueerd via een vierdelig studieontwerp met 20 open-source Android-projecten die gebruikmaken van GitHub Actions.

1. Datacollectie en Ground Truth

De auteurs verzamelden 9.166 GitHub Actions workflow runs van 452 Android-repositories, waarbij de focus lag op 1.806 mislukte runs. Een gestratificeerde steekproef van 20 mislukte workflows (één per repository) werd geselecteerd voor gedetailleerde analyse, bestaande uit 14.646 logregels.

• Handmatige Annotatie: Twee co-auteurs labelden elke regel onafhankelijk als RCA-relevant (1) of RCA-irrelevant (0) op basis van richtlijnen die prioriteit geven aan diagnostische inhoud (error traces, exceptions) boven boilerplate. De inter-rater betrouwbaarheid was hoog (Cohen's $\kappa = 0.80$).
• Ground Truth: Discrepanties werden opgelost via consensus, wat resulteerde in een gevalideerde dataset voor training en evaluatie.

2. LogSieve Mechanisme

LogSieve werkt als een pre-processing stap vóór de LLM-inferentie:

• Embedding Generatie: Logregels worden omgezet in feature vectoren met behulp van drie embedding-families: TF-IDF (lexicaal), BERT (contextueel) en LLaMA3 (instructie-getuned).
• Classificatie: Een reeks gesuperviseerde machine learning classifiers (inclusief Logistic Regression, SVM, Random Forest, XGBoost en LightGBM) wordt getraind om de relevantie van elke regel te voorspellen.
• Filtering: Regels die als irrelevant zijn geclassificeerd, worden verwijderd, waardoor het aantal input-tokens dat naar de LLM wordt gestuurd, wordt verminderd.

3. Evaluatiekader

De studie evalueert LogSieve tegenover twee baselines: LogZip (structuur-gebaseerde compressie) en Random-line removal.

• LLM Taken: GPT-4o werd gebruikt om twee taken uit te voeren op zowel volledige als gereduceerde logs:
  1. Failure Explanation: Het genereren van een samenvatting van waarom de workflow is mislukt.
  2. Failure Categorization: Het toewijzen van een categorie aan de fout.
• Metrieken:
  • Reductie: Percentage verwijderde regels en tokens.
  • Semantische Getrouwheid: Cosine similarity, BERTScore, ROUGE, BLEU en GPTScore die de reacties van gereduceerde logs versus volledige logs vergelijken.
  • Categorische Accuratesse: Exact-match accuratesse voor foutcategorisatie.

Belangrijkste Bijdragen

1. LogSieve Techniek: Een nieuwe, RCA-bewuste log-reductiemethode die informatiearme regels filtert terwijl de inhoud die essentieel is voor foutdiagnose behouden blijft, waarmee de kloof tussen structurele compressie en LLM-redenering wordt overbrugt.
2. Empirische Evaluatie: Een uitgebreide evaluatie op 20 Android-projecten die aantoont dat LogSieve een significante omvangreductie bereikt met minimale semantische verliezen.
3. Automatisering Haalbaarheid: Bewijs dat embedding-gebaseerde classifiers de relevantiedetectie kunnen automatiseren met bijna menselijke nauwkeurigheid, wat schaalbare integratie in CI-workflows mogelijk maakt zonder dure LLM-inferentie tijdens de filterfase.
4. Duurzaamheidsimpact: Een demonstratie dat pre-inferentie token-reductie direct de computationele kosten en de evenredige energieconsumptie voor LLM-gebaseerde CI-analyse verlaagt.

Resultaten

RQ1: Log Grootte Reductie

LogSieve bereikte een gemiddelde reductie van 42% in logregels en een reductie van 40% in tokens over de 20 repositories. De reductie varieerde per project (variërend van 11% tot 85% regelreductie), wat aangeeft dat CI-logs aanzienlijke niet-essentiële inhoud bevatten.

RQ2: Semantische Getrouwheid

Ondanks de 40% reductie in tokens, behielden de gereduceerde logs een hoge semantische getrouwheid voor LLM-redenering:

• Explanation Task: De cosine similarity bedroeg gemiddeld 0.93, en de GPTScore bedroeg gemiddeld 0.93 bij het vergelijken van reacties van gereduceerde versus volledige logs.
• Categorization Task: 80% van de reacties van de gereduceerde logs kwam exact overeen met de classificatie van de volledige logs.
• Deze resultaten geven aan dat de verwijderde regels grotendeels ruis waren die het vermogen van de LLM om fouten te diagnosticeren niet belemmerden.

RQ3: Automatisering Prestaties

Machine learning classifiers slaagden erin de relevantie-labeling taak te automatiseren:

• Accuratesse: Modellen bereikten tot wel 97% accuratesse (bijv. Logistic Regression met TF-IDF of BERT embeddings, SVM met LLaMA3 embeddings).
• Efficiëntie: Klassieke ML-modellen (lineair, boom-gebaseerd) presteerden vergelijkbaar met complexere neurale modellen, wat suggereert dat lichtgewicht classifiers voldoende zijn voor deze taak, waardoor de overhead van het draaien van LLM's voor filtering wordt vermeden.

RQ4: Baseline Vergelijking

LogSieve presteerde aanzienlijk beter dan beide baselines in het behouden van semantische en categorische getrouwheid:

• vs. LogZip: LogSieve bereikte een Cosine similarity van 0.93 (vs. 0.70 voor LogZip) en 80% exact-match accuratesse (vs. 20% voor LogZip). LogZip's structuur-eerst benadering behield irrelevante regels en verwierp contextueel belangrijke regels.
• vs. Random Removal: Hoewel random removal een goede oppervlakkige gelijkenis bereikte (Cosine 0.90), resulteerde dit in een lagere categorische getrouwheid (70% exact match) vergeleken met LogSieve's 80%. Dit bevestigt dat semantische relevantie, en niet alleen volume-reductie, cruciaal is voor LLM-redenering.

Significantie en Claims

Het artikel claimt dat LogSieve een praktisch pad biedt naar groenere en meer interpreteerbare CI-automatisering. Door te verschuiven van "structuur-eerst" naar "semantiek-eerst" reductie, adresseert LogSieve de groeiende milieu- en economische kosten van LLM-inferentie in software engineering.

• Duurzaamheid: De 40% reductie in input-tokens vertaalt zich direct in een evenredige vermindering van energieverbruik en koolstofemissies, aangezien de inferentiekosten lineair schalen met het aantal tokens.
• Interpreteerbaarheid: In tegen tegenstelling tot compressiemethoden die context vertroebelen, behoudt LogSieve de specifieke diagnostische informatie die vereist is voor root cause analysis.
• Schaalbaarheid: Het vermogen om relevantiedetectie te automatiseren met bijna menselijke nauwkeurigheid met behulp van lichtgewicht classifiers stelt LogSieve in staat om geïntegreerd te worden in CI-pipelines zonder significante latentie of computationele overhead te introduceren.

De auteurs concluderen dat LogSieve effectief de brug slaat tussen logbeheer en LLM-redenering, waardoor schaalbare diagnostiek mogelijk wordt zonder de kwaliteit van de geautomatiseerde analyse in gevaar te brengen. De studie erkent beperkingen met betrekking tot de generaliseerbaarheid naar andere CI-platforms, talen en logtypen, en merkt op dat toekomstig werk adaptieve reductiestrategieën en bredere LLM-evaluaties zal verkennen.