ArmorOCR: Grounded Adversarial Visual Perception via Observation-Transferred Self-Distillation
Este artigo apresenta o AdvSpot, o primeiro benchmark de OCR adversarial fundamentado, e propõe o ArmorOCR, um framework de treinamento de dois estágios que utiliza autodestilação de observação transferida e otimização de política relativa de grupo para aumentar significativamente a robustez de grandes modelos multimodais contra texto visual adversarial, mantendo ao mesmo tempo o desempenho geral de OCR.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo da inteligência artificial, existe uma classe crescente de sistemas conhecidos como modelos multimodais de grande escala. Estes são computadores poderosos que podem ver imagens e ler texto dentro delas, de forma muito semelhante a um humano olhando para uma fotografia de uma placa de rua ou uma nota escrita à mão. Durante anos, estes sistemas tornaram-se notavelmente bons a ler texto claro e padrão. No entanto, uma lacuna significativa surgiu entre a visão humana e a visão de máquina. Os humanos possuem uma capacidade intuitiva de reunir o significado mesmo quando o texto está oculto, distorcido ou misturado num fundo complexo. Podemos olhar para um padrão de pontos e compreender instantaneamente a palavra que eles formam, ou ler uma frase escrita em letras minúsculas numa camisa movimentada. A inteligência artificial atual, pelo contrário, muitas vezes falha nestas tarefas específicas. Pode olhar para a mesma imagem e ver apenas ruído, perder o texto completamente ou focar-se na parte errada da imagem. Esta vulnerabilidade não é apenas um pequeno erro; revela uma fraqueza fundamental na forma como estas máquinas percebem o mundo visual, deixando-as incapazes de lidar com o texto desordenado e manipulado encontrado no mundo real.
Os investigadores tentam há muito tempo corrigir isto ensinando os computadores a "pensar" mais profundamente sobre as imagens, muitas vezes pedindo-lhes para fazer zoom, recortar ou inverter imagens para revelar detalhes ocultos. Embora isto funcione, é lento e requer passos extras cada vez que o computador olha para uma imagem. Um novo estudo introduz uma abordagem diferente, uma que ensina o modelo a ver estes padrões ocultos instantaneamente, sem precisar de alterar a imagem primeiro. A equipa por trás deste trabalho, liderada por Linhan Cao e colegas, criou primeiro um novo campo de teste chamado AdvSpot. Esta é uma coleção de 390 imagens concebidas especificamente para atrair a inteligência artificial. As imagens contêm texto que é legível para humanos, mas desafiante para máquinas, organizado em treze tipos diferentes de truques visuais. Estes truques variam desde texto que está rotacionado ou espelhado, até palavras escondidas dentro de padrões complexos, ou letras que parecem ter sido desenhadas à mão ou geradas por outros sistemas artificiais. O conjunto de dados é único porque não pede apenas ao computador para adivinhar a palavra; exige que o computador aponte exatamente onde o texto está, o leia e responda a uma pergunta sobre ele, garantindo que a máquina está realmente a ver o lugar certo e não apenas a adivinhar com base no contexto.
Para resolver o problema destas imagens complicadas, os investigadores desenvolveram um novo método de treino chamado ArmorOCR. Eles perceberam que, embora um computador possa ter dificuldade em ver uma palavra na sua forma original, a mesma palavra pode ser fácil de ler se a imagem fosse ligeiramente esticada, rotacionada ou redimensionada. Em vez de pedir ao computador para realizar estas transformações cada vez que olha para uma imagem, os investigadores ensinaram o modelo a aprender com elas durante o treino. Eles estabeleceram um processo de aprendizagem de dois passos. No primeiro passo, utilizaram um modelo "professor" que conseguia ver a imagem de muitas formas diferentes e transformadas. Este modelo professor, que tinha a vantagem de ver o texto claramente após a imagem ser manipulada, guiaria um modelo "aluno" que via apenas a imagem original e difícil. O professor não deu apenas a resposta; ele mostrou ao aluno como perceber o texto oculto através do compartilhamento da sua compreensão interna das vistas transformadas. Isto permitiu ao aluno internalizar a capacidade de ver através dos truques visuais sem nunca precisar de ver os truques em si durante o teste real.
O segundo passo do treino focou-se em refinar como o modelo utiliza esta nova capacidade. Os investigadores deram ao modelo recompensas específicas por realizar diferentes partes do trabalho corretamente. Se o modelo apontasse com sucesso para a área correta da imagem, recebia uma recompensa pela localização. Se lesse o texto corretamente, recebia uma recompina pelo reconhecimento. Se conseguisse encontrar todo o texto oculto numa única imagem e responder a perguntas sobre ele, recebia recompensas por essas tarefas. Ao combinar estas recompensas, o modelo aprendeu a equilibrar todas estas competências ao mesmo tempo. O resultado foi um sistema que podia olhar para uma única imagem, não modificada, e identificar, ler e explicar instantaneamente o texto que era anteriormente invisível para as máquinas.
Quando testado no seu novo benchmark, os resultados foram impressionantes. A maioria dos modelos de inteligência artificial existentes, incluindo alguns dos maiores e mais avançados disponíveis, obteve pontuações muito baixas no teste AdvSpot, falhando frequentemente em reconhecer o texto mais de metade das vezes. O novo sistema ArmorOCR, no entanto, superou-os significativamente, alcançando a maior precisão em todos os campos. Crucialmente, os investigadores descobriram que este novo treino não tornou o modelo pior a ler texto normal e claro. O sistema continuou tão bom em tarefas de leitura padrão como era antes, provando que tinha aprendido uma nova competência sem perder as suas antigas. O estudo sugere que, ao ensinar os modelos a aprender com vistas transformadas durante o treino, podemos construir uma inteligência artificial que é muito mais robusta e fiável ao enfrentar o mundo visual complexo e manipulado que os humanos navegam todos os dias.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.