Knee or ROC

Titel: KNEE or ROC: Adaptatie van Self-Attention Transformers voor Multiclas Beelddetectie

1. Probleemstelling

Zelf-attention transformers hebben bewezen zeer accuraat te zijn voor beeldclassificatie, zelfs met kleinere datasets. Echter, de huidige onderzoeken en tests zijn grotendeels gebaseerd op single-class beelddetectie met een bekende representatie van de beeldpopulatie. Er zijn twee kritieke beperkingen wanneer dit wordt toegepast op realistische scenario's:

1. Multiclas invoer: In veel gevallen bevat een invoerbeeld meer dan één objectklasse.
2. Onbekende populatie: In live omgevingen is de representatie van de beeldpopulatie vaak onbekend of dynamisch.

De traditionele Receiver Operating Characteristic (ROC) curve, die vaak wordt gebruikt om optimalisatiedrempels (thresholds) te bepalen, heeft hierbij tekortkomingen:

• De drempel wordt bepaald tijdens het trainen en verandert niet nadat het model is ingezet (niet geschikt voor live omgevingen).
• Het is primair ontworpen voor binaire classificatie en vereist aanpassing voor multiclas scenario's.

De auteurs stellen de vraag: hoe kunnen we nauwkeurige drempelwaarden bepalen voor multiclas beelddetectie, zowel tijdens training als in live omgevingen, zonder volledige kennis van de beeldpopulatie?

2. Methodologie

De auteurs onderzoeken drie methoden om optimale drempelwaarden te bepalen voor multiclas datasets (gegenereerd uit CIFAR-10 beelden die tot 2x2 roosters zijn samengevoegd), gebruikmakend van een Compact Convolutional Transformer (CCT) model.

• Methode 1: ROC via Cumulatieve Distributiefunctie (CDF)

  • Er worden twee normale verdelingscurves gegenereerd op basis van de True Positive Rate (TPR) en True Negative Rate (TNR) waarden van de softmax-uitkomsten.
  • Door een willekeurige drempelwaarde ($T_1$) te kiezen en de CDF te gebruiken, worden de TPR en False Positive Rate (FPR) benaderd.
  • Door $T_1$ te itereren, wordt een nieuwe ROC-curve gegenereerd. De optimale drempel is het punt met de grootste afstand tot de lijn waar AUC = 0,5.

• Methode 2: "What-if" Scenariobenadering (Brute Force)

  • Deze methode rearrangeert de originele positieve en negatieve arrays op basis van variërende drempelwaarden ($T_2$).
  • Voor elke drempelwaarde worden de waarden toegewezen aan nieuwe arrays voor True Positives (TP), False Negatives (FN), False Positives (FP) en True Negatives (TN).
  • Er wordt een ROC-curve gegenereerd voor elke iteratie. De methode selecteert de curve met de grootste AUC en bepaalt vervolgens de "knie" (knee point) van die curve om de ideale drempel te vinden.

• Methode 3: De Knie-methode (Knee Method) voor Ad-hoc Berekening

  • Deze methode is ontworpen voor situaties waar geen vooraf berekende ROC-curve beschikbaar is (bijv. live omgevingen).
  • De waarschijnlijkheidswaarden van een multiclas beeld worden gesorteerd in oplopende volgorde en uitgezet.
  • Er wordt een knie-waarde (het punt van maximale kromming of "elbow") berekend op basis van deze verdeling.
  • Deze waarde dient als een ad-hoc drempelindicator zonder dat een volledige ROC-analyse nodig is.

3. Belangrijkste Bijdragen

1. Novel ROC-benadering voor Multiclas: De auteurs introduceren een manier om ROC-curves te genereren voor multiclas datasets door gebruik te maken van CDF-benaderingen en array-rearrangement (Method 1 en 2), wat een oplossing biedt voor het ontbreken van standaard binaire ROC-methoden in complexe scenario's.
2. Ad-hoc Knie-methode: Ze stellen een nieuwe toepassing van de "knee method" voor om drempelwaarden direct te bepalen op basis van waarschijnlijkheidsverdelingen. Dit maakt het mogelijk om drempels dynamisch aan te passen in live omgevingen, in tegenstelling tot statische trainingsdrempels.
3. Integratie met CCT: Het paper toont aan hoe compacte convolutionele transformers (CCT) kunnen worden gebruikt voor multiclas detectie, wat rekenkracht bespaart ten opzichte van zwaardere modellen zoals Vision Transformers (ViT) of CNN's.

4. Resultaten

De experimenten zijn uitgevoerd op een dataset van 500 gegenereerde multiclas beelden (2x2 grids van CIFAR-10).

• Vergelijking Methode 1 vs. Methode 2:
  • Methode 2 (de "brute force" rearrangement) leverde een ROC-curve op met een grotere Area Under the Curve (AUC) dan Methode 1.
  • De optimale drempelwaarde ($T$) voor Methode 2 werd berekend als 0,72, gebaseerd op de knie-waarde (0.33, 0.64) en de Euclidische afstand tot de AUC=0.5 lijn.
• Resultaten van Methode 3 (Knie-methode):
  • Er werd een duidelijk patroon waargenomen gerelateerd aan de maximale waarschijnlijkheidswaarden in de beelden:
    • Als de maximale waarschijnlijkheid ≥ 0,35 is, zijn de knie-waarden consistent groter dan 6 (in 92,5% van de gevallen tussen 6 en 8).
    • Als de maximale waarschijnlijkheid < 0,35 is, zijn de knie-waarden inconsistent en soms afwezig.
  • Conclusie over toepasbaarheid: Methode 2 is geschikter voor kleine multiclas objecten (lage waarschijnlijkheid), terwijl Methode 3 effectief is voor grotere objecten met hogere waarschijnlijkheidswaarden.

5. Betekenis en Toekomstperspectief

Dit paper vormt een eerste stap in het aanpassen van transformer-architecturen voor realistische, complexe beelddetectie taken waarbij:

• Meerdere klassen per beeld voorkomen.
• De populatie van de beelden onbekend is.

De belangrijkste implicatie is dat de knie-methode een flexibele, ad-hoc oplossing biedt voor live omgevingen waar statische ROC-drempels falen. Dit opent de weg voor robuustere objectdetectiemodellen (zoals YOLO of Faster R-CNN) die gebruikmaken van self-attention, zonder de zware rekenvereisten van traditionele CNN's.

Toekomstig onderzoek zal zich richten op het verder verfijnen van de ad-hoc knie-methode voor volledig onbekende beeldpopulaties en het integreren van deze technieken in state-of-the-art detectie-architecturen om meerdere klassen in één beeld te identificeren, zelfs zonder voorafgaande kennis van het aantal klassen.