TactileEval: A Step Towards Automated Fine-Grained Evaluation and Editing of Tactile Graphics

Probleemstelling

Tactiele grafieken (verheven afbeeldingen voor blinden en slechtzienden, BVI) vereisen zorgvuldige validatie door experts voordat ze naar leerlingen kunnen worden gestuurd. Huidige datasets, zoals TactileNet, bieden slechts grove, holistische kwaliteitsbeoordelingen (bijv. "Accepteren", "Kleine bewerking nodig", "Grote bewerking nodig", "Verwerpen"). Deze beoordelingen zijn niet actiegericht: ze specificeren niet welke perceptuele attributen defect zijn noch hoe deze moeten worden hersteld. Er ontbreekt dus een gestructureerd systeem voor gedetailleerde evaluatie en geautomatiseerde correctie.

Methodologie

Het paper introduceert TACTILEEVAL, een drie-staps pijplijn die de kloof tussen expertkennis en schaalbare automatisering overbrugt.

1. Ontwikkeling van een Kwaliteitstaxonomie:

   • Gebaseerd op vrije tekstcommentaren van experts in de TactileNet-dataset, werd een kwalitatieve thematische analyse uitgevoerd.
   • Dit resulteerde in een vijf-dimensionale taxonomie die aansluit bij de BANA-standaarden (Braille Authority of North America):
     • View Match (V): Overeenkomst van het perspectief met de referentiefoto.
     • Required Parts (P): Aanwezigheid van essentiële onderdelen (geen ontbrekende of hallucinatie-elementen).
     • Identity & Background (B): Behoud van de objectidentiteit en afwezigheid van achtergrondrommel.
     • Texture Separation (T): Duidelijke scheiding van texturen tussen aangrenzende gebieden.
     • Line Quality (L): Kwaliteit van de lijnen (geen gebroken, vage of te dikke lijnen).
   • Deze dimensies werden gekoppeld aan zes objectfamilies (bijv. dieren, voedsel, voertuigen), wat resulteerde in 30 specifieke taakfamilies.

2. Dataverzameling via Crowdsourcing (AMT):

   • Er werden 14.095 gestructureerde annotaties verzameld via Amazon Mechanical Turk (AMT) over 66 objectklassen.
   • Protocol: Werknemers zagen een zij-aan-zij vergelijking van een natuurlijke foto en de tactiele tekening. Ze selecteerden specifieke fouten uit een lijst met opties per dimensie.
   • Kwaliteitscontrole: Er werd gebruikgemaakt van een tweestapsproces met "gold samples" (handgecontroleerde referenties) en een kwalificatietest. De uiteindelijke labels werden bepaald door meerderheidsstemming (consensus) van 7 werknemers per item.

3. Evaluatie met Vision-Language Modellen:

   • Een ViT-L/14 feature probe (gebaseerd op CLIP) werd getraind om de kwaliteit te evalueren.
   • Architectuur: Het model gebruikt ingebouwde embeddings van de natuurlijke foto, de tactiele tekening, hun elementsgewijze verschil (voor cross-modale discrepantie) en de tekst-prompt van de specifieke optie.
   • Een eenvoudige MLP-classifier (Multi-Layer Perceptron) voorspelt per optie de waarschijnlijkheid van een defect. Het ViT-backbone blijft bevroren; alleen de MLP-weights worden bijgewerkt.

4. Geautomatiseerde Bewerkingspijplijn:

   • Op basis van de ViT-scores wordt het hoogst scorende defect geselecteerd.
   • Dit wordt vertaald naar een natuurlijke taal-instructie via familie-specifieke prompt-sjablonen.
   • Deze instructies worden gebruikt om gpt-image-1 (in bewerkingsmodus) aan te sturen om gerichte correcties aan te brengen op de bestaande tactiele tekening, in plaats van een nieuwe afbeelding te genereren.

Belangrijkste Bijdragen

• Een fijnkorrelig kwaliteitsdataset: Een dataset van 14.095 records die 30 taakfamilies dekt, afgeleid van de intersectie van 6 objectfamilies en 5 kwaliteitsdimensies. Dit maakt schaalbare evaluatie mogelijk zonder dat elke cyclus experts vereist.
• Een reproduceerbare ViT-evaluator: Een model dat 85,70% testnauwkeurigheid bereikt over 30 verschillende taken, wat een gestructureerd alternatief biedt voor uitsluitend expert-annotatie.
• Een ViT-gestuurde bewerkingspijplijn: Een concrete eerste stap naar end-to-end herstel van tactiele grafieken, waarbij classifier-scores worden omgezet in gerichte beeldbewerkingen.

Resultaten

• Evaluatieprestaties: De ViT-feature probe bereikte een totale testnauwkeurigheid van 85,70%.
  • De nauwkeurigheid varieerde per familie, van 79,51% (Voedsel & Natuur) tot 89,31% (Voertuigen & Vliegsystemen).
  • Taken met betrekking tot achtergrondreinheid en geometrie (bijv. perspectief) waren het makkelijkst (vaak 100% nauwkeurig).
  • Taken met betrekking tot anatomische delen en textuurscheiding waren het moeilijkst, wat overeenkomt met de subjectieve aard van deze beoordelingen door mensen.
• Bewerkingskwaliteit:
  • In een analyse van 15 hoge-vertrouwensdefecten resulteerden 14 van de 14 bewerkingen in een vermindering van de ViT-probleemwaarschijnlijkheid (gemiddelde daling van 0,329).
  • Casestudies (bijv. een dinosaurus met te dikke lijnen en een boom met ontbrekende textuur) tonen aan dat de pijplijn visueel herkenbare verbeteringen kan aanbrengen, zelfs als de classifier-scores slechts marginaal veranderen.
  • De bewerkingspijplijn is het meest betrouwbaar wanneer de classifier een hoge zekerheid heeft en het defect ruimtelijk gelokaliseerd is.

Betekenis en Conclusie

TACTILEEVAL is een doorbraak in de automatisering van de kwaliteitsborging van tactiele grafieken. Door expertkennis te ontleden in gestructureerde, in gewone taal gestelde taken, maakt het systeem het mogelijk om grote datasets te annoteren zonder dat elke annotatie een specialist vereist. De combinatie van een nauwkeurige ViT-evaluator en een generatieve bewerkingspijplijn legt de basis voor toekomstige systemen die volledig geautomatiseerd tactiele grafieken kunnen evalueren en corrigeren, waardoor de toegang tot educatief materiaal voor blinden en slechtzienden significant kan worden verbeterd.

De auteurs maken de code, data en modellen beschikbaar om de basis te leggen voor toekomstige, door BVI-participanten gevalideerde, volledig geautomatiseerde correctiepijplijnen.