Read, Extract, Classify: A Tool for Smarter Requirements Engineering

Technische Samenvatting van ReXCL: Een Tool voor Slimmere Requirements Engineering

Probleemstelling
Binnen softwareontwikkeling is effectieve Requirements Engineering (RE) cruciaal voor het afstemmen van systeemoutput op de verwachtingen van belanghebbenden. De huidige workflow voor het verwerken van klantvereisten, die doorgaans worden aangeleverd in semi-gestructureerde formaten zoals PDF- of DOC-bestanden, is echter grotendeels handmatig, foutgevoelig en arbeidsintensief. Belanghebbenden moeten diverse documentlay-outs handmatig interpreteren, sectiestructuren extraheren, inhoud afbeelden op vooraf gedefinieerde schema's en vereisten categoriseren (bijvoorbeeld functioneel, niet-functioneel, informatief). Deze handmatige stappen leiden tot vertragingen, verminderen de traceerbaarheid en ondermijnen de algehele kwaliteit van het RE-proces, vooral bij het integreren van data in downstream-tools zoals IBM DOORS.

Methodologie
Om deze uitdagingen aan te pakken, presenteren de auteurs ReXCL, een tool die is ontworpen om zowel de extractie als de classificatie van vereisteteksten te automatiseren. Het systeem werkt via twee primaire modules:

1. Extractie-module:

   • Inputverwerking: De module transformeert ruwe inputdocumenten (PDF, DOC, TXT) naar een intermediaire, op markdown gebaseerde tekstdrepresentatie met behulp van pakketten zoals PyMuPDF4LLM. Deze aanpak behoudt de documentstructuur, inclusief sectietitels (gemarkeerd met speciale tokens) en tabelopmaak, in tegenstelling tot standaard tekstconverters die de structuur platdrukken.
   • Ruisverwijdering: Om koppen en voeten (bijvoorbeeld paginanummers, datums) te elimineren, wordt een lichtgewicht Random Forest-classificator ingezet. Deze binaire classificator maakt gebruik van twee kenmerken—frequentie van voorkomen en positionele informatie—om redundante zinnen aan de boven- of onderkant van pagina's te identificeren en te verwijderen.
   • Structurele parsing: De opgeschoonde tekst wordt geparsed om sectienummers, koppen en bijbehorende tekstblokken te identificeren. Deze worden gegroepeerd in gestructureerde tuples van de vorm $\langle \text{nummer}_i, \text{kop}_i, [\text{tekst}_{i1}, \dots, \text{tekst}_{im}] \rangle$.
   • Output: De tuples worden opgemaakt in een tabulair schema met Object-identificatoren, Nummers, Koppen, Tekst en Niveaus, klaar voor downstream-verwerking.

2. Classificatiemodule:

   • Domeinadaptatie: Het systeem maakt gebruik van een op BERT gebaseerd model dat is aangepast voor de automobielindustrie. Het proces begint met Iteratief Masked Language Modeling op grote schaal, ongelabelde vereisteteksten uit de automobielindustrie. Deze stap verfijnt het vooraf getrainde algemene model om domeinspecifieke terminologie en syntactische structuren te vangen.
   • Supervised Fine-Tuning: Na adaptatie wordt het model in een supervised setting verder getraind met behulp van gelabelde vereisteteksten. Een multi-layer perceptron (MLP) wordt toegepast op het [CLS]-token van de output van de transformer om semantische classificatie op documentniveau uit te voeren.
   • Categorisatie: Het model wijst elke vereistetekst toe aan een van vier categorieën: Info, Kop, Functionele Vereiste of Niet-functionele Vereiste.

Belangrijkste Bijdragen

• Geautomatiseerde Schematisatie: ReXCL biedt een nieuwe aanpak voor het automatiseren van de schematisatie van semi-gestructureerde vereistedocumenten, een taak die eerder aanzienlijke menselijke inspanning vereiste.
• Geïntegreerde Pipeline: In tegenstelling tot eerdere werken die kopdetectie of sectieclassificatie afzonderlijk aanpakten, biedt ReXCL een uitgebreide pipeline die zowel structurele extractie als semantische classificatie verwerkt.
• Adaptieve Fine-Tuning: De tool demonstreert de doeltreffendheid van een tweefasen trainingsproces (domeinadaptatie gevolgd door supervised fine-tuning) voor het verwerken van classificatietaken met beperkte data in de automobielindustrie.
• Interoperabiliteit: De uiteindelijke output is exporteerbaar in standaardformaten (CSV, Excel, YAML, JSON) en is compatibel met industriestandaard RE-tools zoals IBM DOORS en Jira.

Evaluatieresultaten

• Extractieprestaties: Bij een handmatige evaluatie waarbij drie domeinexperts 445 zinnen beoordeelden, bereikte de extractie-module een gemiddelde nauwkeurigheidscore van 4,45/5. De component voor het verwijderen van koppen en voeten behaalde een gemiddelde nauwkeurigheid van 96,05%.
• Classificatieprestaties: Empirische resultaten tonen aanzienlijke winst door adaptieve fine-tuning in vergelijking met een baseline "vanilla" BERT-model.
  • Vanilla BERT F1-scores: Varieerden tussen 0,22 en 0,41 per categorie.
  • Adaptief Gefinetuned BERT F1-scores: Bereikte 0,99 voor Kop, 0,98 voor Info, 0,98 voor Functionele Vereisten en 0,93 voor Niet-functionele Vereisten.
  • De verbeteringen waren vooral significant voor ondervertegenwoordigde categorieën zoals Niet-functionele Vereisten.

Betekenis en Beweringen
De paper beweert dat ReXCL de efficiëntie en nauwkeurigheid van het beheer van vereisten aanzienlijk verbetert, wat een verschuiving markeert van handmatige, foutgevoelige processen naar geautomatiseerde, datagedreven workflows. Door menselijke inspanning te verminderen en consistentie te vergroten, stroomlijnt de tool de transformatie van ruwe documenten naar gestructureerde, actievere data. De auteurs positioneren ReXCL als een praktische oplossing voor real-world situaties, gevalideerd door expertbeoordeling en empirische metrics.

Toekomstig Werk
De auteurs merken op dat toekomstige iteraties van de tool gericht zijn op uitbreiding van de ondersteuning voor afbeeldingen, tabellen en multimodale documenten, inclusief presentaties en spreadsheets.