ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
Este artículo presenta AdvSpot, el primer benchmark de OCR adversarial con fundamentación, y propone ArmorOCR, un marco de entrenamiento de dos etapas que aprovecha la autodestilación de transferencia de observación y la optimización de política relativa de grupo para mejorar significativamente la robustez de los grandes modelos multimodales contra el texto visual adversarial mientras mantiene el rendimiento general de OCR.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, existe una clase creciente de sistemas conocidos como modelos multimodales grandes. Estos son computadores potentes que pueden ver imágenes y leer texto dentro de ellas, de forma muy similar a un humano que mira una fotografía de una señal de tráfico o una nota escrita a mano. Durante años, estos sistemas se han vuelto notablemente buenos para leer texto claro y estándar. Sin embargo, ha surgido una brecha significativa entre la visión humana y la visión de las máquinas. Los humanos poseemos una capacidad intuitiva para reconstruir el significado incluso cuando el texto está oculto, distorsionado o mezclado con un fondo complejo. Podemos mirar un patrón de puntos e comprender instantáneamente la palabra que forman, o leer una frase escrita en letras diminutas en una camiseta concurrida. La inteligencia artificial actual, por el contrario, suele fallar en estas tareas específicas. Podría mirar la misma imagen y ver solo ruido, pasar por alto el texto por completo o centrarse en la parte equivocada de la imagen. Esta vulnerabilidad no es solo un error menor; revela una debilidad fundamental en cómo estas máquinas perciben el mundo visual, dejándolas incapaces de manejar el texto desordenado y manipulado que se encuentra en el mundo real.
Los investigadores han intentado durante mucho tiempo solucionar esto enseñando a las computadoras a "pensar" más profundamente sobre las imágenes, a menudo pidiéndoles que hagan zoom, recorten o volteen las imágenes para revelar detalles ocultos. Si bien esto funciona, es lento y requiere pasos adicionales cada vez que la computadora mira una imagen. Un nuevo estudio introduce un enfoque diferente, uno que enseña al modelo a ver estos patrones ocultos instantáneamente, sin necesidad de cambiar la imagen primero. El equipo detrás de este trabajo, liderado por Linhan Cao y colegas, creó primero un nuevo campo de pruebas llamado AdvSpot. Este es una colección de 390 imágenes diseñadas específicamente para atrapar a la inteligencia artificial. Las imágenes contienen texto que es legible para los humanos pero desafiante para las máquinas, organizado en trece tipos diferentes de trucos visuales. Estos trucos van desde texto que está rotado o reflejado, hasta palabras ocultas dentro de patrones complejos, pasando por letras que parecen haber sido dibujadas a mano o generadas por otros sistemas artificiales. El conjunto de datos es único porque no solo le pide a la computadora que adivine la palabra; requiere que la computadora señale exactamente dónde está el texto, lo lea y responda una pregunta sobre él, asegurando que la máquina realmente esté viendo el lugar correcto y no solo adivinando basándose en el contexto.
Para resolver el problema de estas imágenes complicadas, los investigadores desarrollaron un nuevo método de entrenamiento llamado ArmorOCR. Se dieron cuenta de que, aunque una computadora podría tener dificultades para ver una palabra en su forma original, la misma palabra podría ser fácil de leer si la imagen fuera ligeramente estirada, rotada o redimensionada. En lugar de pedirle a la computadora que realice estas transformaciones cada vez que mira una imagen, los investigadores le enseñaron al modelo a aprender de ellas durante el entrenamiento. Establecieron un proceso de aprendizaje de dos pasos. En el primer paso, utilizaron un modelo "maestro" que podía ver la imagen de muchas formas diferentes y transformadas. Este modelo maestro, que tenía la ventaja de ver el texto claramente después de que la imagen fuera manipulada, guiaría a un modelo "estudiante" que solo veía la imagen original y difícil. El maestro no solo daba la respuesta; le mostraba al estudiante cómo percibir el texto oculto compartiendo su comprensión interna de las vistas transformadas. Esto permitió al estudiante interiorizar la capacidad de ver a través de los trucos visuales sin necesidad de ver los trucos mismos durante la prueba real.
El segundo paso del entrenamiento se centró en refinar cómo el modelo utiliza esta nueva capacidad. Los investigadores dieron al modelo recompensas específicas por realizar correctamente las diferentes partes del trabajo. Si el modelo señalaba con éxito el área correcta de la imagen, recibía una recompcción por localización. Si leía el texto correctamente, recibía una recompensa por reconocimiento. Si podía encontrar todo el texto oculto en una sola imagen y responder preguntas sobre él, recibía recompensas por esas tareas también. Al combinar estas recompensas, el modelo aprendió a equilibrar todas estas habilidades a la vez. El resultado fue un sistema que podía mirar una única imagen, sin modificar, e identificar, leer y explicar instantáneamente el texto que antes era invisible para las máquinas.
Cuando se probó en su nuevo parámetro de referencia, los resultados fueron impactantes. La mayoría de los modelos de inteligencia artificial existentes, incluyendo algunos de los más grandes y avanzados disponibles, puntuaron muy bajo en la prueba AdvSpot, fallando a menudo en el reconocimiento del texto más de la mitad de las veces. El nuevo sistema ArmorOCR, sin embargo, superó significativamente a todos ellos. Mejoró la capacidad de reconocer texto adversarial por un margen amplio, logrando la mayor precisión en todos los ámbitos. Crucialmente, los investigadores encontraron que este nuevo entrenamiento no hizo que el modelo empeorara al leer texto normal y claro. El sistema seguía siendo tan bueno en las tareas de lectura estándar como lo era antes, demostrando que había aprendido una nueva habilidad sin perder las anteriores. El estudio sugiere que, al enseñar a los modelos a aprender de vistas transformadas durante el entrenamiento, podemos construir una inteligencia artificial que sea mucho más robusta y confiable al enfrentar el mundo visual complejo y manipulado que los humanos navegamos cada día.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.