Towards the AI Historian: Agentic Information Extraction from Primary Sources

Título: Rumo ao Historiador de IA: Extração Agente de Informação de Fontes Primárias

1. O Problema

A adoção da Inteligência Artificial na pesquisa histórica tem sido limitada, apesar da aceleração da descoberta científica em outras áreas (como física e biologia). As principais barreiras identificadas são:

• Falta de Soluções Adaptadas: As abordagens existentes de "Cientistas de IA" focam em experimentação automatizada e estratégias empíricas típicas das ciências naturais, não sendo adequadas para a pesquisa histórica, que é um processo iterativo, não linear e baseado em fontes qualitativas e quantitativas heterogêneas.
• Dificuldade Técnica: A extração de dados de fontes primárias digitalizadas (imagens de documentos antigos) geralmente exige a criação de pipelines de visão computacional personalizados. Isso demanda expertise técnica que a maioria dos historiadores não possui.
• Rigidez dos Métodos Atuais: Muitos sistemas impõem pipelines fixos baseados em Modelos de Linguagem e Visão (VLMs), que não conseguem se adaptar à vasta diversidade de layouts, tipografias, convenções de abreviação e estruturas de documentos históricos.
• Falta de Transparência e Controle: Não existem soluções acessíveis e personalizáveis que permitam aos historiadores interagir com agentes de IA para refinar workflows de extração de informações.

2. Metodologia: O Sistema Chronos

O artigo apresenta o primeiro módulo do Chronos, um sistema de Historiador de IA em desenvolvimento. A metodologia baseia-se em uma arquitetura de agente que permite a interação via linguagem natural para construir fluxos de trabalho adaptativos.

• Arquitetura Técnica:

  • O sistema é construído sobre o Pi Agent Framework, um framework de codificação agnóstico a modelos.
  • É implementado como uma extensão específica de domínio dentro do Visual Studio Code (VS Code).
  • Separação de Funções: Utiliza modelos de IA diferentes para tarefas distintas (ex: Claude Opus 4.6 para orquestração e raciocínio; Gemini 3.1 Pro para extração de informação visual de imagens).
  • Estrutura de Workspace: Organiza o projeto em diretórios separados para fontes (somente leitura), dados de saída, memória persistente (arquivos Markdown) e "habilidades" (instruções reutilizáveis).

• Mecanismo de "Habilidades" (Skills):

  • A inovação central são as "Skills": arquivos Markdown que contêm instruções em linguagem natural (não código tradicional) para guiar o agente.
  • Elas permitem a composição de pipelines através de campos de pré-requisitos, criando fluxos de trabalho ordenados sem necessidade de um orquestrador externo.
  • As habilidades são portáteis e permitem que o conhecimento de domínio (ex: como lidar com uma classe específica de documentos) seja capturado e reutilizado.

• Fluxo de Trabalho Agente (Exemplo de Extração):

  1. Encontrar Páginas Relevantes (Range-finder): O agente analisa o sumário ou usa busca binária nas imagens para localizar a seção de interesse, permitindo que o historiador verifique os limites.
  2. Adaptação do Prompt (Prompt-construction): O agente analisa páginas vizinhas para identificar pistas estruturais (tabelas de abreviações, legendas) e constrói um prompt de extração personalizado. O agente testa o prompt em uma página representativa e itera com o historiador até que a qualidade seja satisfatória.
  3. Extração em Lote (Batch extraction): Após aprovação, o agente processa todas as páginas em paralelo usando subagentes VLM, salvando resultados em arquivos TSV (para reduzir custos e latência).
  4. Mesclagem com Proveniência (Merge-batch-tsv): Combina os arquivos TSV em um único conjunto de dados estruturado, adicionando metadados de proveniência (ID da página) e aplicando correções automáticas baseadas em insights anteriores (ex: tratamento de caracteres Unicode).

3. Contribuições Chave

• Primeiro Módulo de Historiador de IA: Introdução de um sistema funcional que permite a historiadores converter imagens de fontes primárias em dados estruturados através de interação em linguagem natural, sem necessidade de codificação.
• Workflow Adaptativo e Iterativo: Diferente de pipelines rígidos, o Chronos permite que o historiador avalie o desempenho do modelo em tarefas específicas e refine o processo iterativamente.
• Sistema de Habilidades Reutilizáveis: Criação de uma abstração baseada em texto (Markdown) para definir procedimentos de pesquisa, tornando o conhecimento técnico acessível e compartilhável entre pesquisadores.
• Transparência e Controle Humano: O sistema exige aprovação humana em etapas críticas (definição de limites, revisão de prompts, aprovação de lote), mantendo o historiador no ciclo de decisão.
• Código Aberto: A ferramenta é open-source e pronta para uso por pesquisadores históricos em seus próprios dados.

4. Resultados e Eficácia

• Funcionalidade Demonstrada: O módulo foi testado com sucesso em fontes históricas heterogêneas, como diretórios de cidades alemãs (séculos XVIII-XX) e registros de patentes.
• Redução de Fricção: Eliminou a barreira técnica de criar pipelines de VLM personalizados, permitindo que historiadores foquem na análise histórica em vez de engenharia de software.
• Validação de Qualidade: O sistema consegue identificar e corrigir problemas comuns (como alucinações em textos densos ou erros de formatação) através da iteração com o usuário e validação de saídas.
• Eficiência: O uso de TSV em vez de JSON para saída de dados reduziu a contagem de tokens de saída em até 50%, diminuindo custos e latência em escala.

5. Significado e Limitações

• Significado para a Pesquisa Histórica: O Chronos representa um passo fundamental para a "História Computacional" em larga escala, permitindo a criação de conjuntos de dados estruturados a partir de fontes não estruturadas de forma acessível. Ele democratiza o uso de IA avançada para humanidades.
• Limitações Técnicas e Éticas:
  • Alucinações: Modelos VLMs ainda podem alucinar em documentos complexos (textos densos, tabelas largas) e têm desempenho inferior em idiomas de baixa recursos.
  • Soberania e Custo: A dependência de modelos proprietários (Gemini, Claude) levanta questões sobre soberania de dados (envio de fontes primárias para servidores comerciais) e desigualdade financeira (acesso a modelos de ponta custa dinheiro).
  • Segurança e Alinhamento: Há preocupações filosóficas sobre a delegação da construção de conjuntos de dados a IAs, o que pode influenciar a interpretação histórica e a memória coletiva, especialmente se houver comportamentos enganosos ou objetivos desalinhados.
• Futuro: O projeto visa expandir o Chronos para incluir mais módulos, movendo-se da extração de dados para a realização de pesquisa histórica autônoma de ponta a ponta, mantendo o foco na responsabilidade e na agência do historiador.

Em resumo, o artigo propõe uma mudança de paradigma: em vez de forçar historiadores a se adaptarem a ferramentas de IA rígidas, o Chronos adapta a IA às necessidades específicas e iterativas da pesquisa histórica, funcionando como um assistente colaborativo que transforma fontes primárias digitalizadas em dados analisáveis.