🤖 AI

Brick-DICL: Dynamic In-Context Learning for Automated Brick Schema Classification

Dit artikel introduceert Brick-DICL, een nieuw tweestaps dynamisch in-context leerframework dat gebruikmaakt van metadata-RAG, class-RAG en multi-LLM filtering om het automatiseren en aanzienlijk verbeteren van de nauwkeurigheid van het mappen van diverse Building Management System-punten naar het gestandaardiseerde Brick-schema te optimaliseren, waardoor uitdagingen met betrekking tot uitgebreide aantallen klassen, beperkte domeinkennis en handmatige verificatie-inspanningen worden overwonnen.

Oorspronkelijke auteurs: Yiyue Qian, Shinan Zhang, Huan Song, Negin Sokhandan, Hannah Marlowe, Diego Socolinsky

Gepubliceerd 2026-06-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yiyue Qian, Shinan Zhang, Huan Song, Negin Sokhandan, Hannah Marlowe, Diego Socolinsky

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek met gebouwgegevens hebt, maar elk gebouw spreekt een andere taal. Het ene gebouw noemt een sensor "Temp_Sensor_01", een ander noemt het "AHU_Room_Temp" en een derde schrijft simpelweg "Zone 4 Heat". Dit is het probleem met Building Management Systems (BMS). Zij zijn de hersenen van moderne gebouwen, maar omdat verschillende fabrikanten hun eigen rommelige, niet-gestandaardiseerde labels gebruiken, is het ontzettend moeilijk om ze allemaal met elkaar te verbinden om energie te besparen of prestaties te analyseren.

Om dit op te lossen, hebben experts een "universeel woordenboek" gemaakt genaamd de Brick Schema. Het bevat bijna 1.000 specifieke categorieën (zoals "Air Handling Unit" of "Discharge Air Temperature Sensor") die elk gebouw zou moeten gebruiken. Het doel is om die rommelige, unieke labels automatisch te vertalen naar de juiste Brick-categorie.

De paper introduceert Brick-DICL, een slim systeem dat fungeert als een superintelligente vertaler om deze taak automatisch uit te voeren. Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het Probleem: Te Veel Keuzes en Te Weinig Kennis

Stel je voor dat je een woord probeert te raden in een spelletje "20 vragen", maar in plaats van 20 vragen, moet je in één keer het juiste woord kiezen uit 936 opties. Dat is de uitdaging waar de computer voor staat. Bovendien zijn standaard AI-modellen (Large Language Models) als algemene kennisexperts; ze weten veel over de wereld, maar kennen de specifieke, technische regels van bouwtechniek niet. Ze kunnen misschien "Temperatuursensor" raden, maar missen dan het specifieke deel over "Discharge Air" (afvoerlucht).

Het werk van de AI handmatig controleren is als het nalezen van een boek van 1.000 pagina's; het duurt eeuwen en is saai.

2. De Oplossing: Een Tweestaps Detectiveproces

Brick-DICL lost dit op met een "Two-Stage Dynamic In-Context Learning" aanpak. Denk aan een detective die een zaak oplost in twee stappen, waarbij hij een speciale archiefkast met eerdere zaken gebruikt om te helpen.

Fase 1: De zoektocht naar "Vergelijkbare Zaken" (Metadata RAG)

De Analogie: Stel je voor dat je een nieuwe mysterie hebt (een rommelig gebouwlabel). In plaats van vanaf nul te gokken, zoekt het systeem door een enorme database van vorige opgeloste zaken om gevallen te vinden die er zeer veel op lijken.
Wat het doet: Het vindt 15 eerdere voorbeelden die het meest lijken op het huidige label. Het laat deze voorbeelden aan de AI zien, met de tekst: "Kijk, dit eerdere label heette 'Temp_01' en we hebben besloten dat het een 'Room Sensor' was. Aangezien jouw nieuwe label precies op dat lijkt, zul je waarschijnlijk ook 'Room Sensor' raden."
Het Resultaat: Dit geeft de AI de specifieke kennis over "bouwtechniek" die het miste, wat hel help bij het doen van een goede eerste gok.

Fase 2: De zoektocht naar het "Inperken" (Class RAG)

De Analogie: Zelfs met een goede eerste gok kan de AI nog steeds in de war zijn tussen 936 opties. Stel dat de AI "Temperatuursensor" heeft geraden. In plaats van de AI nu te vragen om te kiezen uit alle 936 opties, zegt het systeem: "Oké, laten we de rest negeren. Laten we alleen kijken naar de 20 soorten temperatuursensoren die het meest lijken op jouw gok."
Wat het doet: Het neemt de eerste gok van de AI en vindt de 20 meest relevante categorieën in het Brick-woordenboek. Vervolgens vraft het de AI om de beste te kiezen alleen uit die 20.
Het Resultaat: Dit maakt de taak veel gemakkelijker. Het is alsof je iemand vraagt om de beste appel te kiezen uit een mandje van 20, in plaats van de beste vrucht te kiezen uit een hele supermarkt.

3. Het Veiligheidsnet: De "Raad van Juryleden" (Multi-LLM Filtering)

Zelfs slimme detectives maken fouten. Om te voorkomen dat er slechte vertalingen naar mensen worden gestuurd om te corrigeren, gebruikt Brick-DICL een Multi-LLM mechanisme.

De Analogie: Stel je voor dat je drie verschillende deskundige juryleden hebt. Ze bekijken allemaal onafhankelijk van elkaar dezelfde zaak.
- Als alle drie de juryleden het eens zijn over het antwoord, is het systeem zelfverzekerd en accepteert het dit automatisch.
- Als de juryleden het niet eens zijn (bijv. Jurylid A zegt "Room Sensor", Jurylid B zegt "Outdoor Sensor"), dan markeert het systeem dit als "Lage Betrouwbaarheid".
Het Resultaat: Mensen hoeven alleen maar in te grijpen om de gevallen te corrigeren waar de AI-juryleden ruzie maken. Dit bespaart een enorme hoeveelheid tijd omdat het systeem de makkelijke, voor de hand liggende gevallen zelf afhandelt.

De Kernboodschap

De paper beweert dat dit Brick-DICL systeem:

Generiek is: Het werkt op elk gebouw, ongeacht wie het gebouwd heeft of welke vreemde labels ze gebruikten.
Krachtig is: Het is het eerste systeem dat deze "dynamische" tweestaps zoekmethode gebruikt voor deze specifieke probleemstelling, en het behaalde veel hogere nauwkeurigheidsscores dan andere methoden (zoals standaard AI-modellen of simpel gokken).
Efficiënt is: Door de "Raad van Juryleden" te gebruiken om onzekere antwoorden te filteren, vermindert het drastisch de hoeveelheid handmatig werk die mensen moeten verrichten om gebouwen "digitaal te onboarden".

Kortom, Brick-DICL is een slimme, tweestaps vertaler die eerdere voorbeelden gebruikt om de regels te leren, de keuzes inperkt om de taak makkelijker te maken, en een team van AI-juryleden gebruikt om ervoor te zorgen dat mensen alleen de lastige fouten hoeven te herstellen.

Technische Samenvatting: Brick-DICL

Probleemstelling

Building Management Systems (BMS) zijn cruciaal voor het optimaliseren van de energie-efficiëntie en de operationele prestaties van moderne gebouwen. Een aanzienlijke barrière voor integratie en datagebruik is echter het gebrek aan standaardisatie in BMS-puntmetadata bij verschillende fabrikanten. Hoewel het Brick-schema een gestandaardiseerde, open-source ontologie biedt om gebouwactiva, systemen en hun relaties te representeren, blijft het in kaart brengen van ruwe BMS-punten naar de juiste Brick-klassen een complexe taak. De auteurs identificeren drie primaire uitdagingen:

Schaal: Het nieuwste Brick-schema bevat 936 verschillende klassen, wat een massaal multi-class classificatieprobleem creëert.
Domeinkennisgat: Large Language Models (LLMs) missen, ondanks hun algemene capaciteiten, vaak de specifieke domeinkennis die nodig is om BMS-punten nauwkeurig te classificeren vanwege onvoldoende blootstelling aan gespecialiseerde datasets.
Verificatiebelasting: Het handmatig verifiëren van de door LLM's gegenereerde classificatieresultaten is arbeidsintensief en tijdrovend, vooral bij het verwerken van duizenden punten over meerdere gebouwen.

Methodologie: Brick-DICL

Om deze uitdagingen aan te pakken, stellen de auteurs Brick-DICL voor, een tweestaps Dynamic In-Context Learning (DICL) framework dat wordt versterkt door Retrieval-Augmented Generation (RAG) en een multi-LLM filteringmechanisme.

1. Tweestaps Dynamic In-Context Learning

In tegenstelling tot traditionele In-Context Learning (ICL), die een vaste set voorbeelden gebruikt, haalt Brick-DICL dynamisch relevante context op om de LLM te sturen.

Fase Eén: Metadata Dynamic ICL (Metadata RAG)
- Doel: Het genereren van een initiële voorspelling voor de Brick-klasse op basis van de metadata-attributen van het BMS-punt.
- Mechanisme: Een vectordatabase wordt geconstrueerd uit trainingsvoorbeelden. Voor een nieuw BMS-punt berekent het systeem een embedding van de attributen en haalt de top- $k$ meest gelijkaardige voorbeelden op met behulp van cosinus-gelijkenis.
- Proces: Deze opgehaalde voorbeelden, die laten zien hoe vergelijkbare combinaties van attributen naar specifieke klassen leiden, worden samengevoegd met de nieuwe input om een dynamische prompt te vormen. De LLM genereert een initiële klassevoorspelling ( $c^{(1)}_{brick}$ ), een rechtvaardiging ( $j$ ) en een betrouwbaarheidsscore ( $s$ ).
Fase Twee: Class Dynamic ICL (Class RAG)
- Doel: De initiële voorspelling verfijnen door de classificatieruimte te verkleinen van 936 klassen naar een semantisch relevante subset.
- Mechanisme: Gebruikmakend van de voorspelling uit Fase Eén, haalt het systeem de top- $m$ (bijv. 20) meest gelijkaardige Brick-klassen uit de volledige schema op.
- Tweestapsgeneratie:
  1. De LLM evalueert alle opgehaalde klassen en selecteert 5 voorlopige kandidaten.
  2. De LLM voert een gerichte evaluatie uit op deze 5 kandidaten om de top 3 meest waarschijnlijke klassen met genormaliseerde waarschijnlijkheden te selecteren.
- Output: De uiteindelijke output bevat de top 3 voorspelde klassen, hun waarschijnlijkheden, rechtvaardigingen en betrouwbaarheidsscores.

2. Multi-LLM Filteringmechanisme

Om de handmatige verificatie-inspanningen te verminderen, gebruikt het framework meerdere LLM's om voorspellingen te genereren voor beide fasen. Er wordt een filteringstrategie toegepast om voorspellingen met een laag vertrouwen te identificeren die menselijke beoordeling vereisen. De auteurs stellen vier strategieën voor om consensus te beoordelen:

All Agreement (Volledige overeenstemming): Markeert een laag vertrouwen als elke voorspelling (Fase 1 of Fase 2 top-3) tussen modellen verschilt.
Top-3 Consensus: Markeert een laag vertrouwen als er geen volledige overlap is in de top-3 klassen tussen alle modellen.
Top-1 Agreement (Top-1 overeenstemming): Markeert een laag vertrouwen als de enkele beste voorspelling tussen modellen verschilt.
Any-2 Consensus: Markeert een laag vertrouwen als er minder dan twee gemeenschappelijke klassen aanwezig zijn onder de top-3 voorspellingen van de modellen.

Gemarkeerde gevallen worden naar een interface voor menselijke validatie geleid, terwijl gevallen met een hoog vertrouwen automatisch worden geaccepteerd.

Belangrijkste Bijdragen

Het artikel claimt drie primaire innovaties:

Generaliseerbaarheid: Brick-DICL is een algemeen framework dat toepasbaar is op elk BMS, ongeacht fabrikant of metadataformaat, door gebruik te maken van metadata en class RAG om punten aan Brick-klassen te koppelen.
Nieuwigheid en Kracht: Het is de eerste benadering die specifische dynamic in-context learning ontwerpt voor het omgaan met het grote aantal Brick-klassen en het gebrek aan domeinkennis in LLM's. Het presteert beter dan bestaande methoden op gebouwdatasets.
Efficiëntie: De multi-LLM filteringstrategie vermindert de handmatige verificatie-inspanning aanzienlijk door automatisch alleen ambigue of met laag vertrouwen geclassificeerde zaken te markeren voor menselijke beoordeling.

Experimentele Resultaten

Het framework werd geëvalueerd op twee gebouwdatasets (B1 en B2) met BMS-metadata en grondwaarheid (ground-truth) Brick-labels.

Prestaties vs. Baselines: Brick-DICL presteerde consequent beter dan acht baseline-modellen, inclus_ief prompting-gebaseerde methoden (standaard, statisch, willekeurig en dynamisch ICL) en gefinetuned pre-trained taalmodellen (BERT, DistilBERT, RoBERTa, SciBert). Specifiek behaalde het superieure Hits@1 en Hits@3 nauwkeurigheid op beide gebouwen.
Impact van Hyperparameters:
- Shots (Fase 1): De prestaties verbeterden over het algemeen met meer shots, waarbij 15-shot ICL de beste resultaten behaalde.
- Retrieved Classes (Fase 2): Het ophalen van 20 klassen leverde optimale prestaties op; het verhogen daarboven introduceerde ruis.
Filteringstrategieën: De Any-2 Consensus strategie bleek de optimale balans te bieden, waarbij het laagste onenigheidsratio (minimalisering van handmatige beoordeling) werd bereikt terwijl de sterke classificatienauwkeurigheid behouden bleef.
Ablatieonderzoek: Het verwijderen van ofwel de Metadata DICL of de Class DICL componenten leidde tot matige prestatiedalingen, terwijl het verwijderen van beide resulteerde in een significante daling, wat bevestigt dat alle modules essentieel zijn voor optimale nauwkeurigheid.

Betekenis

Het artikel concludeert dat Brick-DICL effectief de uitdagingen aanpakt van het standaardiseren van diverse BMS-punten. Door dynamische retrieval te combineren met multi-LLM consensus, versnelt het framework de weg naar gestandaardiseerde, interoperabele gebouwbeheersystemen. Het maakt snelle digitale onboarding van gebouwen mogelijk door een hoge classificatienauwkeurigheid te bereiken met minimale menselijke interventie, wat betere datacapaciteit faciliteert voor gebouwcommissionering en energiebeheer.