Object Detection Based Handwriting Localization

Dit artikel presenteert een objectdetectiemethode op basis van het Cascade R-CNN-architectuur die handgeschreven teksten in documenten lokaliseert om persoonsgegevens te anonimiseren, met een verwerkingssnelheid van 10 fps en sterke generalisatievermogen over verschillende talen.

De kern

Stel je voor dat je een oude, volgeschreven factuur hebt. Er staat veel gedrukte tekst op (zoals bedragen, adressen en datums), maar er staan ook handgeschreven notities en handtekeningen op. Voor een bedrijf is het heel belangrijk om die facturen digitaal te verwerken, maar ze mogen die handgeschreven stukjes niet zien. Waarom? Omdat daar vaak privé-informatie in staat, zoals je handtekening of een persoonlijke opmerking. Die moeten "zwart gemaakt" (geanonimiseerd) worden voordat de factuur de deur uitgaat.

De uitdaging? Computers zijn geweldig in het lezen van gedrukte letters, maar ze vinden het lastig om te zien wat er handgeschreven is, vooral als het op een drukke pagina staat. Het is alsof je probeert een handgeschreven krabbel te vinden in een zee van gedrukte tekst.

Dit paper beschrijft een slimme oplossing hiervoor, gebaseerd op objectdetectie. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Slimme Camera (Het Object Detectie Systeem)

Stel je een beveiligingscamera voor die niet kijkt naar gezichten, maar specifiek zoekt naar "handgeschreven krabbels". In plaats van dat een mens elke factuur moet bekijken, leert de computer (een kunstmatige intelligentie) om die handgeschreven stukjes te herkennen alsof het een hond of een auto is in een foto.

De auteurs gebruiken een systeem dat Cascade R-CNN heet.

• De Analogie: Stel je voor dat je een schat zoekt.
  • De eerste camera (Faster R-CNN) kijkt snel over het hele veld en zegt: "Daar lijkt iets te zijn!"
  • De tweede camera (Cascade) kijkt die plek dan nog eens heel kritisch en zegt: "Ja, dat is echt een handgeschreven notitie, geen gedrukte tekst."
  • De derde camera kijkt nog scherper en zegt: "Zeker weten, en ik weet precies waar de randen zitten."
    Door dit in stappen te doen (een 'cascade'), wordt de detectie veel nauwkeuriger. Het is alsof je eerst grof schuurt en dan pas fijn polijst.

2. De Twee Ogen (Voorgewerkte Beelden)

De computer krijgt niet één foto te zien, maar twee tegelijk, die aan elkaar zijn geplakt:

1. Het originele beeld: De factuur zoals hij eruitziet.
2. Het bewerkte beeld: Een versie waar de computer eerst alle gedrukte tekst en rechte lijntjes (zoals tabelranden) heeft weggehaald.

De Metafoor:
Stel je voor dat je in een drukke menigte (de gedrukte tekst) iemand zoekt (de handtekening).

• De eerste foto is de volle menigte.
• De tweede foto is dezelfde menigte, maar dan met een filter dat alle mensen in pak (de gedrukte tekst) onzichtbaar maakt. Dan zie je alleen nog de mensen in T-shirts (de handgeschreven stukjes).
  Door de computer beide foto's tegelijk te laten zien, helpt het systeem hem te focussen op de plek waar de handgeschreven tekst waarschijnlijk zit. Het is alsof je een flitslicht gebruikt om de schaduwen weg te werken.

3. Het Resultaat: Snel en Veilig

Het systeem werkt razendsnel (ongeveer 10 keer per seconde op een goede computer). Zodra het de handgeschreven gebieden heeft gevonden, kunnen die direct worden "zwart gemaakt" of vervangen door een onherkenbaar blokje. Zo blijft de factuur leesbaar voor de computer, maar zijn de privé-gevens veilig.

4. De "Magische" Vaardigheid: Taal is Geen Probleem

Het meest indrukwekkende is dat het systeem is getraind met Engelse facturen, maar het werkt ook perfect op facturen in het Chinees of Duits, zelfs als het systeem die talen nooit heeft gezien.

De Analogie:
Het is alsof je iemand leert om "krabbelig handschrift" te herkennen, zonder dat je vertelt welke taal er geschreven is. De computer leert niet de letters zelf, maar het gevoel van de tekst.

• Gedrukte tekst is strak, regelmatig en perfect.
• Handgeschreven tekst is onregelmatig, heeft variatie in dikte en vorm.
  De computer leert dit "onregelmatige gevoel" te herkennen. Of die tekst nu in het Engels, Chinees of Duits is, de "krabbeligheid" blijft hetzelfde. Daarom werkt het systeem ook op vreemde talen.

Samenvatting

Kortom: De auteurs hebben een slimme "krabbel-jager" gebouwd. Deze jager gebruikt een meervoudige check (cascade) en kijkt naar een versie van de pagina waar de gedrukte tekst al is weggefilterd. Hierdoor kan hij razendsnel en heel nauwkeurig vinden waar privé-informatie staat, zodat die veilig kan worden verwijderd, ongeacht in welke taal de factuur is geschreven.

Het is een stap in de richting van veilige, geautomatiseerde documentverwerking waar privacy niet hoeft te lijden.

Technische samenvatting

Probleemstelling

Het paper adresseert de uitdaging om handgeschreven teksten (zoals notities en handtekeningen) te lokaliseren binnen gedigitaliseerde documenten, specifiek facturen. De primaire motivatie is het verbeteren van anonymisatie tijdens data-overdracht. Handgeschreven regio's bevatten vaak Persoonlijk Identificeerbare Informatie (PII) die moet worden verwijderd of geredigeerd voordat documenten veilig kunnen worden verwerkt of gedeeld.

De specifieke moeilijkheid ligt in het onderscheid maken tussen handgeschreven tekst en de achtergrond, die bestaat uit gestructureerde, gedrukte tekst en tabellen. Traditionele OCR-systemen (zoals Tesseract) zijn ontworpen voor gedrukte tekst en kunnen handgeschreven elementen vaak niet betrouwbaar van de achtergrond scheiden of als "niet-herkenbaar" markeren, wat leidt tot onnauwkeurige anonymisatie.

Methodologie

De auteurs stellen een aanpak voor die gebaseerd is op objectdetectie met diepe leernetwerken, in plaats van OCR. Het doel is niet om de tekst te lezen, maar uitsluitend de bounding boxes van handgeschreven regio's te voorspellen.

1. Netwerkarchitectuur:

• Het paper vergelijkt Faster R-CNN en Cascade R-CNN.
• Cascade R-CNN wordt gekozen als de beste oplossing. Dit netwerk gebruikt een multi-stadia benadering waarbij regressors en classifiers in opeenvolgende fasen worden getraind met toenemende IoU (Intersection over Union) drempels (0.5, 0.6, 0.7). Dit zorgt voor een hogere kwaliteit van de gedetecteerde objecten, wat cruciaal is voor de nauwkeurigheid vereist bij anonymisatie.

2. Preprocessing en Input Fusie:

• Om de prestaties te verbeteren, worden de originele afbeeldingen geprepareerd door:
  • Het verwijderen van gedrukte tekst (met behulp van Tesseract OCR met een hoge betrouwbaarheidsdrempel).
  • Het verwijderen van rechte lijnen (tabellen) met behulp van de Hough-transformatie.
• Fusie-strategie: De auteurs tonen aan dat het beste resultaat wordt behaald door de originele afbeelding en de gepreprocessede afbeelding (waarbij gedrukte tekst en lijnen zijn verwijderd) te concateneren als input voor het netwerk. De gepreprocessede laag fungeert hierbij als een "attention mechanism" dat de regio's met potentiële handgeschreven tekst accentueert.
• Daarnaast worden de afbeeldingen soms genegateerd (zwart/wit omgekeerd) om de achtergrond (wit) en tekst (zwart) te optimaliseren voor de tensor-input.

3. Evaluatiemetrics:

• Naast de standaard mAP (mean Average Precision) wordt een specifieke metric gebruikt voor de SAP Data Anonymization Challenge: APFP (Average Precision with penalty of False Positives).
• De IoU-drempel is streng ingesteld op 0.8 (in plaats van de gebruikelijke 0.5), omdat een onnauwkeurige box die PII niet volledig dekt, privacyrisico's met zich meebrengt.
• Er is ook een "Bad-Quality" mechanisme: afbeeldingen met meer dan 3 gedetecteerde boxes worden gemarkeerd als "slecht" en krijgen een lagere score, om te voorkomen dat het systeem te veel valse positieven genereert.

Belangrijkste Bijdragen

1. Nieuwe Baseline voor Handwriting Localization: Het paper introduceert een nieuwe baseline voor het lokaliseren van handgeschreven tekst in documenten, specifiek gericht op anonymisatie, en maakt de dataset en labels beschikbaar voor de gemeenschap.
2. Fusie van Originele en Gepreprocessede Data: Het bewijst dat het concateneren van originele en "gezuiverde" (zonder gedrukte tekst) afbeeldingen als input de prestaties significant verbetert ten opzichte van het gebruik van slechts één type input.
3. Generaliseerbaarheid: Het getrainde model, dat voornamelijk is getraind op Engelstalige data, toont opmerkelijke generaliseerbaarheid. Het werkt effectief op onbekende facturen in andere talen, waaronder Chinees en Duits, zonder dat het model specifiek voor die talen is getraind. Dit suggereert dat het netwerk de "irregulariteit" van handgeschreven tekst leert onderscheiden van de regelmaat van gedrukte tekst.
4. Efficiëntie: Het systeem draait op 10 fps op een enkele GPU (RTX 2080 Ti), wat het geschikt maakt voor real-time of batch-verwerking in industriële omgevingen.

Resultaten

• Prestaties: Cascade R-CNN presteert over het algemeen beter dan Faster R-CNN, YOLOv3 en RetinaNet, vooral onder de strenge IoU-drempel van 0.8.
• Vergelijking met Leaderboard: De methode van de auteurs behaalde de beste resultaten in de SAP Data Anonymization Challenge, met een APFP80 van 47.5% (met inachtneming van het Bad-Quality mechanisme). Dit is een verbetering ten opzichte van andere ingediende methoden, waaronder een Google Cloud AutoML Vision API oplossing en een OCR-gebaseerde aanpak.
• Visuele Kwaliteit: De visualisaties tonen aan dat het model handgeschreven notities en handtekeningen nauwkeurig kan lokaliseren, zelfs in complexe documenten met veel gedrukte tekst.

Betekenis en Toekomstperspectief

Dit werk is significant voor de industrie omdat het een robuuste, schaalbare oplossing biedt voor het beschermen van privacy in documentverwerking. Door handgeschreven PII automatisch te lokaliseren, kunnen bedrijven hun data-analyseprocessen automatiseren zonder privacyrisico's.

De auteurs wijzen ook op toekomstige kansen:

• Het onderscheid maken tussen cursief gedrukte tekst en handgeschreven tekst blijft een uitdaging.
• Het gebruik van anomaliedetectie (bijvoorbeeld met Variational Autoencoders) wordt voorgesteld als een alternatieve, mogelijk semi-supervised aanpak, waarbij gedrukte tekst als "normaal" wordt beschouwd en handgeschreven tekst als "anomalie".
• De getrainde representaties kunnen worden gebruikt voor het synthetiseren van kunstmatige handtekeningen, wat de anonymisatie verder kan versterken zonder de bestaande entiteiten te verwijderen.

Kortom, het paper demonstreert dat diepe leernetwerken, specifiek Cascade R-CNN met een slimme input-fusie, een superieure en generaliseerbare oplossing bieden voor het kritieke probleem van handgeschreven tekstlokalisatie in documenten.