No mundo da inteligência artificial, existe uma classe crescente de sistemas conhecidos como modelos de linguagem de grande escala multimodais. Estes são computadores poderosos que podem olhar para uma imagem, ler o texto dentro dela e responder perguntas sobre o que veem. Eles são notavelmente bons nisso, agindo frequentemente como um humano que lança um olhar sobre um documento e imediatamente compreende o seu significado geral. No entanto, permanece uma lacuna significativa entre simplesmente ver um documento e realmente lê-lo com precisão. Quando uma página está repleta de letras miúdas, tabelas complexas, gráficos coloridos ou diagramas intrincados, estes modelos muitas vezes perdem os detalhes específicos necessários para responder a uma pergunta difícil. Eles podem ver que a página está lá, mas falham em extrair o número, nome ou relação exata escondida no ruído visual. Esta limitação é particularmente frustrante porque a informação está bem ali à frente do computador; o sistema apenas não está a olhar para o lugar certo com o devido cuidado.

Pesquisadores da Amazon desenvolveram uma nova abordagem para resolver este problema, afastando-se da ideia de que um computador deva responder a uma pergunta num único olhar rápido. Em vez disso, criaram um sistema chamado Q-Guide, que trata a leitura como um processo lento e deliberado. Em vez de tentar compreender todo o documento de uma só vez, este sistema age como um investigador cuidadoso que primeiro olha para a pergunta, descobre exatamente qual é a peça de evidência que falta e, depois, aproxima o zoom ou utiliza ferramentas especiais para a encontrar. É um método que prioriza obter a informação correta em vez de obter uma resposta rapidamente. Ao dedicar um pouco mais de tempo e poder de computação para procurar ativamente os detalhes em falta, o sistema consegue resolver problemas que deixam perplexos até os modelos mais avançados que trabalham numa única passagem.

A ideia central por trás deste trabalho é que a percepção deve ser guiada pela própria pergunta. Nos sistemas tradicionais, um documento é processado uma vez, e o modelo responde com base no que quer que tenha captado durante esse primeiro olhar. Isto funciona bem para documentos simples, mas falha quando a resposta depende de um rótulo minúsculo num mapa ou de uma célula específica numa tabela densa. O sistema Q-Guide altera isto ao introduzir um ciclo onde o computador se pergunta o que precisa de saber. Se a pergunta for sobre um valor específico num gráfico, o sistema direciona a sua atenção para esse gráfico, faz zoom para ler os números claramente e verifica a informação antes de se comprometer com uma resposta. Não depende de uma visão única e fixa da página. Em vez disso, pode recorrer a diferentes ferramentas para recuperar texto, inspecionar detalhes visuais ou compreender o layout de um documento, utilizando apenas as ferramentas necessárias para a questão em questão.

Para testar esta ideia, os investigadores avaliaram o sistema em dois tipos de desafios muito diferentes. O primeiro foi uma coleção de oitenta perguntas extraídas de oito tipos diferentes de documentos, incluindo relatórios de negócios, desenhos de engenharia, mapas e cartazes científicos. Estes documentos foram desenhados para serem difíceis, contendo tudo, desde texto minúsculo até relações espaciais complexas. O segundo desafio envolveu uma tarefa de uma coleção de mangás japoneses, onde o sistema tinha de identificar um personagem específico ao cruzar a sua aparência visual e nome através de múltiplas páginas. Em ambos os casos, os investigadores compararam o Q-Guide contra métodos padrão onde o modelo apenas olha para a imagem uma vez, bem como contra outros sistemas complexos que tentam decompor o problema em muitas etapas.

Os resultados mostraram uma vantagem clara para a abordagem lenta e deliberada. No teste de documentos, o Q-Guide alcançou uma precisão de 65,0 por cento, o que representa uma melhoria significativa em relação ao melhor método padrão, que atingiu apenas 38,8 por cento. Também superou outros sistemas avançados que utilizam múltiplos agentes para colaborar, os quais geriram apenas 40,0 por cento. A melhoria foi ainda mais pronunciada em categorias específicas, como desenhos de engenharia e cartazes científicos, onde o sistema atingiu 90,0 por cento de precisão. Isto sugere que a capacidade de focar a atenção na parte certa da imagem é muito mais valiosa do que ter uma lógica interna mais complexa ou uma equipa maior de agentes virtuais. Na tarefa do mangá, o sistema também teve um desempenho superior aos seus concorrentes, identificando corretamente personagens em 32,4 por cento dos casos com leitura de texto padrão, e saltando para 53,7 por cento quando fornecido com dados de texto perfeitos. Isto indica que a força do sistema reside na sua capacidade de reunir a evidência correta, e não apenas na qualidade de como lê o texto.

Uma das descobertas mais surpreendentes foi que adicionar mais camadas de planeamento ou controlo não ajudou. Os investigadores testaram se dar ao sistema um "planeador" para traçar uma estratégia ou um "roteador" para decidir qual caminho tomar melhoraria o desempenho. Descobriram que estas camadas extra na verdade pioravam as coisas ou não tinham efeito. A versão mais bem-sucedida foi um ciclo simples e compacto onde o sistema simplesmente olhava para o que faltava, escolhia uma ferramenta para o encontrar e repetia o processo. A precisão do sistema crescia à medida que lhe era permitido realizar mais passos deliberados, mas estabilizava principalmente após duas ou três rondas de observação e verificação. Isto sugere que a chave para resolver estes problemas não é tornar o processo de raciocínio mais complicado, mas sim tornar o ato de ver mais cuidadoso e direcionado.

Os investigadores também descobriram que o sistema funciona bem através de diferentes modelos de computador subjacentes. Testaram o Q-Guide utilizando três versões diferentes do modelo de linguagem Claude, variando desde a mais poderosa até versões ligeiramente menos capazes. Em todos os casos, o método Q-Guide melhorou os resultados em comparação com a instrução (prompting) padrão. Isto prova que o benefício advém da estratégia de como o sistema reúne evidências, e não das capacidades específicas do "cérebro" que está a utilizar. Mesmo quando as ferramentas de leitura de texto não eram perfeitas, o sistema ainda conseguiu superar métodos que tinham acesso a texto perfeito mas careciam da capacidade de focar a sua atenção. Isto destaca que o estrangulamento nestas tarefas é frequentemente a falha em perceber o detalhe certo, e não uma falha em compreender a linguagem.

Apesar do seu sucesso, o sistema não é perfeito. Teve maiores dificuldades com perguntas que envolviam mapas, onde a resposta dependia de seguir uma rota ou compreender um layout espacial que as ferramentas não conseguiam representar totalmente. O sistema conseguia ler o texto no mapa e ver as cores, mas não conseguia facilmente navegar pelas conexões entre eles. Isto aponta para uma área clara de melhoria futura: desenvolver ferramentas que possam transformar layouts de mapas em estruturas navegáveis. Da mesma forma, embora o sistema tenha sido muito eficaz a combinar personagens em banda desenhada, por vezes teve dificuldades quando muitos personagens pareciam muito semelhantes. Estes desafios restantes sugerem que o próximo passo neste campo é construir formas mais ricas de perceber o mundo, em vez de apenas adicionar regras mais complexas sobre como pensar.

Em última análise, este trabalho demonstra que, para os computadores realmente lerem documentos complexos, precisam de abrandar. A antiga forma de processar uma página numa única passagem rápida é insuficiente para a realidade desordenada e detalhada do mundo. Ao permitir que o sistema dedique um pouco mais de tempo a decidir o que observar a seguir, e ao dar-lhe as ferramentas para fazer zoom e verificar o que vê, os investigadores criaram um sistema que é significativamente mais fiável. As descobertas sugerem que o caminho a seguir para a inteligência artificial em tarefas visuais não é necessariamente tornar os modelos mais inteligentes ou complexos, mas sim ensiná-los a ser observadores mais deliberados, garantindo que têm a evidência correta antes mesmo de tentarem responder a uma pergunta.