Transformer-based Named Entity Recognition in Construction Supply Chain Risk Management in Australia

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar por impressões digitais, você está caçando palavras específicas escondidas dentro de milhões de artigos de jornais. Este é o mundo do Processamento de Linguagem Natural (PLN), um ramo da ciência da computação onde ensinamos máquinas a ler, compreender e dar sentido à linguagem humana. Pense no PLN como um tradutor superpoderoso que não apenas troca palavras entre idiomas, mas realmente entende o significado por trás delas. Uma das ferramentas mais úteis no kit deste detetive é chamada de Reconhecimento de Entidades Nomeadas (NER). Se você imaginar uma frase como uma pilha bagunçada de peças de LEGO, o NER é o braço robótico que as separa instantaneamente em pilhas organizadas: "Pessoas", "Lugares", "Organizações" e "Datas".

Por que alguém se importaria em ensinar robôs a classificar palavras? Porque o mundo está inundado de informações. Todos os dias, milhares de notícias são escritas sobre tudo, desde mercados de ações até canteiros de obras. Para os humanos, ler tudo isso para encontrar um risco específico — como a escassez de aço ou uma disputa política — é como tentar encontrar uma única agulha em um palheiro usando uma venda nos olhos. É aqui que entram os Transformers. Pense em um Transformer não como um robô, mas como um aluno superatento que consegue ler um livro inteiro em um único olhar e entender instantaneamente como cada palavra se conecta a todas as outras, não importa o quão distantes estejam. Este artigo explora como podemos usar esses alunos superatentos para ajudar a indústria da construção civil na Austrália a manter-se segura e evitar desastres.

---

A Missão do Artigo: Ensinar Robôs a Ler Notícias de Construção

A indústria da construção na Austrália é um pouco como um quebra-cabeça gigante e complexo. Ela envolve centenas de fornecedores, regras rigorosas e materiais vindos de todo o mundo. Às vezes, as peças do quebra-cabeça se perdem ou quebram, levando a "riscos na cadeia de suprimentos" — coisas que podem atrasar um projeto de construção ou torná-lo muito caro. Geralmente, especialistas precisam ler manualmente artigos de notícias para detectar esses riscos. Mas com tantas notícias chegando, isso é lento e propenso a erros.

Este artigo faz uma pergunta simples: Podemos ensinar um computador a ler esses artigos de notícias de forma mais rápida e melhor do que um humano, especificamente para encontrar riscos de construção na Austrália?

Para responder a isso, os pesquisadores reuniram cerca de 2.000 artigos de notícias de fontes como The Australian, Sky News e Bloomberg. Eles então ensinaram um computador a agir como um bibliotecário, rotulando cada palavra importante no texto. Eles usaram um sistema chamado marcação "BIO", que é como colocar notas adesivas nas palavras:

• B- (Início) e I- (Dentro) para o começo e o meio de um nome (como "B-Empresa" e "I-Nome").
• O (Fora) para palavras que não importam.

Eles focaram em seis tipos específicos de "notas adesivas" (entidades):

1. Pessoas (PER)
2. Eventos de Risco (RRE) – como greves ou atrasos.
3. Grupos Políticos/Nacionais (PNR)
4. Organizações/Fornecedores (OSC)
5. Unidades Geopolíticas (GPU) – como países ou estados.
6. Materiais de Construção (CMS) – como concreto ou aço.

Após rotular 39.500 dessas entidades, eles alimentaram os dados em sete modelos "Transformer" diferentes (os alunos superatentos). Estes incluíam modelos famosos como BERT, RoBERTa, DistilBERT, ALBERT, ELECTRA, T5 e GPT-3.

Os Resultados: Quem Ganhou o Concurso de Leitura?

Os pesquisadores colocaram esses modelos à prova para ver qual deles conseguiria identificar corretamente os riscos. Eles mediram o sucesso usando três pontuações: Precisão (quantos dos riscos identificados eram realmente reais?), Recall (quantos dos riscos reais o modelo encontrou?) e o F1-score (um equilíbrio entre os dois).

Aqui está o que descobriram:

• O Campeão: O RoBERTa emergiu como o melhor desempenho. Ele alcançou um F1-score médio de 0,8580, o que significa que foi o melhor em equilibrar a descoberta de todos os riscos sem cometer muitos erros. Ficou em segundo lugar, por pouco, o BERT, que marcou 0,8356.
• O Modelo "Muito Exigente": O T5 foi interessante. Teve a maior Precisão (0,9924), o que significa que, quando dizia ter encontrado um risco, quase sempre estava certo. No entanto, ele perdeu um número enorme de riscos reais (baixo Recall de 0,3645). Era como um detetive que só resolve os casos mais fáceis e ignora o resto.
• Os Modelos Generativos: O GPT-3, famoso por escrever histórias, não se saiu tão bem nesta tarefa específica de "identificação". Seu F1-score foi de 0,7518. O artigo sugere que isso ocorre porque o GPT-3 foi construído para gerar texto, não para rotular partes específicas de um texto, sendo um pouco como usar um martelo para parafusar um parafuso — pode até funcionar, mas não é a melhor ferramenta para o trabalho.
• Os Heróis Leves: DistilBERT e ALBERT foram ligeiramente menos precisos que o RoBERTa, mas eram muito mais rápidos e exigiam menos poder computacional. Isso os torna ótimas opções se você não tiver um supercomputador para executá-los.

A Fórmula Secreta: Ajustando os Botões

Os pesquisadores não apenas escolheram um modelo e esperaram pelo melhor. Eles dedicaram tempo ao "ajuste fino" (fine-tuning) dos modelos, o que é como ajustar os botões de um rádio para obter o sinal mais claro. Eles testaram diferentes configurações para:

• Taxa de Aprendizado (Learning Rate): A velocidade com que o modelo aprende.
• Tamanho do Lote (Batch Size): Quantos artigos de notícias ele lê de uma vez.
• Otimizadores: As ferramentas matemáticas usadas para melhorar o modelo (especificamente Adam e AdamW).

Eles descobriram que taxas de aprendizado mais baixas (aprender de forma lenta e cuidadosa) geralmente levavam a melhores resultados. Também descobriram que o otimizador AdamW frequentemente ajudava os modelos a performar melhor do que o otimizador Adam padrão, especialmente para modelos como BERT e ALBERT. Curiosamente, descobriram que usar tamanhos de lote menores (ler menos artigos por vez) funcionava melhor do que ler grandes blocos, o que foi um tanto surpreendente.

O Que Isso Significa para o Futuro

O artigo conclui que o uso dessas ferramentas de IA é um divisor de águas para a gestão de riscos na construção civil. Em vez de um humano passar horas lendo notícias, um modelo como o RoBERTA pode escanear milhares de artigos em segundos, sinalizando riscos como "uma escassez de aço em Victoria" ou "agitação política afetando fornecedores na China".

Os autores sugerem que, no futuro, essa tecnologia possa ser integrada diretamente aos softwares de gestão de projetos. Imagine um painel de controle que fornece um "alerta em tempo real" sempre que uma notícia menciona um risco para o seu projeto específico. Isso permitiria que eles resolvessem problemas antes que causassem atrasos ou excessos de custos.

No entanto, o artigo também observa que este é apenas o começo. Eles não testaram todos os modelos possíveis (como XLNet ou DeBERTa) e admitem que mais trabalho é necessário para tornar esses sistemas ainda mais inteligentes. Mas a mensagem central é clara: ao ensinar computadores a ler as notícias, podemos construir projetos de construção mais seguros e resilientes na Austrália.