Resumo Técnico: TimeLens

Definição do Problema

O artigo aborda três desafios críticos na implementação de guias móveis baseados em IA para o Grande Museu Egípcio (GEM):

1. Similaridade Visual de Grão Fino: A coleção alvo inclui 51 artefatos catalogados, muitos dos quais são estátuas ramessidas quase idênticas, que diferem apenas em sutis poses, adornos de cabeça ou estandartes acompanhantes.
2. Lacuna entre Dados e Realidade: Existe uma discrepância significativa entre os dados curados de treinamento e as condições de captura por câmera de mão (baixa luminosidade, poluição visual de fundo, sobreposição visual).
3. Risco de Alucinação: Modelos de linguagem padrão frequentemente inventam fatos plausíveis, mas sem suporte histórico, o que é inaceitável para um guia de patrimônio cultural.

As soluções existentes falham em atender simultaneamente aos requisitos de reconhecimento em tempo real no dispositivo (evitando latência na nuvem), suporte nativo à língua árabe e precisão livre de alucinações.

Metodologia

O TimeLens é um aplicativo móvel bilíngue (Inglês/Árabe) construído com Flutter, integrando dois subsistemas primários: um detector de artefatos no dispositivo e um guia de Geração Aumentada de Recuperação (RAG).

1. Detecção de Artefatos no Dispositivo

O pipeline de detecção utiliza um modelo YOLOv8n exportado para TensorFlow Lite (FP16). O desenvolvimento seguiu um estudo de iteração rigoroso, orientado pela qualidade dos dados:

• v1 (Auto-Anotação): Os rótulos iniciais foram gerados usando YOLO-World (modelo de fundação) com prompts de texto. Isso resultou em um desempenho insatisfatório (mAP@0.5 = 0,751) devido a caixas mal localizadas e confusão entre classes irmãs.
• v2 (Regras de Sanidade Espacial): Quatro regras geométricas foram aplicadas para filtrar as saídas do YOLO-World (ex: remover caixas no quarto inferior do quadro, selecionar a caixa de maior área). Isso melhorou o mAP@0.5 para 0,867, mas não conseguiu resolver confusões específicas de classe.
• v3 (Anotação Manual Completa): O conjunto de dados final (24.384 imagens) foi anotado manualmente no Roboflow, focando em caixas delimitadoras de artefatos completos e na distinção de artefatos semelhantes. Este passo foi decisivo, alcançando zero classes "quebradas".

O modelo final é um ativo de 5,97 MB que roda assincronamente em telefones Android de gama média, utilizando um filtro de confiança (0,75 globalmente, 0,90 para a Estátua de Siptah, que é visualmente similar) para garantir a confiabilidade.

2. Guia Bilíngue RAG

O subsistema de Q&A fundamenta as respostas em uma base de conhecimento curada da ChromaDB, contendo 108 registros (54 artefatos únicos) documentados tanto em inglês quanto em árabe.

• Arquitetura: O sistema utiliza FastAPI para rotear consultas para um modelo Gemma 4 E2B (Q4 K M) servido localmente via Ollama.
• Estratégia de Fundamentação (Grounding):
  • Separação de Idiomas: Os fragmentos (chunks) em inglês e árabe são armazenados em coleções separadas; o sistema roteia as consultas com base na detecção de script (>30% de caracteres árabes).
  • Fragmentação (Chunking): Os registros são divididos em fragmentos de identidade, descrição e significância.
  • Lógica de Recuperação: O modo de câmera aciona buscas determinísticas de metadados baseadas no título do artefato detectado. O modo de texto usa um classificador baseado em palavras-chave para rotear consultas para campos específicos (Localização, Período, Material) ou busca por similaridade.
• Otimizações: Dez otimizações direcionadas (incluindo fragmentação hierárquica, Flash Attention e ajustes de limites de tokens) reduziram a latência de ponta a ponta de >30s para ~10s.

Principais Contribuições

O artigo relata duas principais contribuições de engenharia:

1. Detecção Orientada pela Qualidade dos Dados: O estudo isola a qualidade do rótulo como o fator decisivo para a detecção de artefatos de museu de grão fino. Os autores demonstram que a limpeza de rótulos e a anotação manual geraram ganhos de desempenho maiores (+0,116 e +0,128 mAP@0.5, respectivamente) do que mudanças arquitetônicas ou escalonamento de resolução. O modelo final resolve todas as classes que anteriormente falhavam.
2. RAG Bilíngue Local e Fundamentado: O sistema alcança respostas sem alucinações em inglês e árabe ao restringir estritamente o LLM ao contexto recuperado. Os autores mostram que mecanismos de fundamentação (fragmentação, separação de idiomas, classificação de consulta) são mais eficazes para prevenir fabricações do que simplesmente aumentar o tamanho do modelo.

Resultados

• Desempenho de Detecção: O modelo final YOLOv8n alcançou mAP@0.5 = 0,995 e mAP@0.5:0,95 = 0,924 no conjunto de validação. Ele roda em aproximadamente 800ms por quadro (1,25 FPS) em um telefone de nível médio, sem observação de erros de classificação durante os testes de campo em todas as 51 classes.
• Desempenho do RAG: Em um conjunto de avaliação de 30 perguntas cobrindo texto, câmera e consultas fora do conjunto de dados, o sistema forneceu respostas corretas e fundamentadas com zero alucinações e zero truncamentos.
• Latência: O tempo de resposta de ponta a ponta foi reduzido para aproximadamente 10,2 segundos (média de 5,9s por resposta na avaliação), tornando-o interativo para visitantes do museu.
• Eficiência de Recursos: Todo o sistema roda em hardware comum: um celular de gama média para detecção e uma única pequena GPU (NVIDIA RTX A5000) para o backend do RAG.

Significância e Alegações

O artigo afirma que o TimeLens consegue preencher a lacuna entre os pesados serviços de IA baseados em nuvem e os sistemas simplistas de QR-code. Sua significância reside em demonstrar que:

• A qualidade do rótulo domina a arquitetura: Para detecção de grão fino e domínio específico, a verificação manual de rótulos é mais crítica do que a complexidade do modelo ou a resolução de entrada.
• A fundamentação evita a alucinação: Um modelo pequeno e quantizado (Gemma 4 E2B) combinado com restrições de recuperação rigorosas pode superar modelos maiores na produção de narrativas históricas bilíngues e factuais.
• Viabilidade de Implantação Local: Um guia de museu bilíngue de alta precisão pode ser implantado em hardware comum sem depender de conectividade contínua com a nuvem, atendendo às necessidades específicas do Grande Museu Egípcio e de outros locais de patrimônio cultural similares.

Os autores concluem que, embora o sistema esteja pronto para produção para os 51 artefatos e 108 registros testados, o trabalho futuro envolve a expansão da base de conhecimento e a substituição do classificador baseado em palavras-chave por um modelo de intenção aprendido.